[논문 리뷰] Vitron: A Unified Pixel-level Vision LLM for Understanding, Generating, Segmenting, Editing

Hao Fei, Shengqiong Wu외 3명|arXiv (Cornell University)|2024. 10. 08.

Image and Object Detection Techniques인용 수 19

한 줄 요약

VITRON은 이미지와 비디오 이해, 생성, 분할, 편집을 통합하는 범용 픽셀 수준 비전 LLM으로, 이미지/비디오 인코더, 중앙 LLM, 및 다수의 시각 백엔드를 하이브리드 명령 전달 메커니즘으로 통합합니다.

ABSTRACT

Recent developments of vision large language models (LLMs) have seen remarkable progress, yet still encounter challenges towards multimodal generalists, such as coarse-grained instance-level understanding, lack of unified support for both images and videos, and insufficient coverage across various vision tasks. In this paper, we present VITRON, a universal pixel-level vision LLM designed for comprehensive understanding, generating, segmenting, and editing of both static images and dynamic videos. Building on top of an LLM backbone, VITRON incorporates encoders for images, videos, and pixel-level regional visuals within its frontend modules, while employing state-of-the-art visual specialists as its backend, via which VITRON supports a spectrum of vision end tasks, spanning visual comprehension to visual generation, from low level to high level. To ensure an effective and precise message passing from LLM to backend modules for function invocation, we propose a novel hybrid method by simultaneously integrating discrete textual instructions and continuous signal embeddings. Further, we design various pixel-level spatiotemporal vision-language alignment learning for VITRON to reach the best fine-grained visual capability. Finally, a cross-task synergy module is advised to learn to maximize the task-invariant fine-grained visual features, enhancing the synergy between different visual tasks. Demonstrated over 12 visual tasks and evaluated across 22 datasets, VITRON showcases its extensive capabilities in the four main vision task clusters. Overall, this work illuminates the great potential of developing a more unified multimodal generalist. Project homepage: https://vitron-llm.github.io/

연구 동기 및 목표

• 이미지와 비디오를 모두 다루는 통합 다중 모달 일반 목적 모델의 필요성을 제시한다.
• 이해, 생성, 분할, 편집을 수행할 수 있는 픽셀 수준 비전 LLM을 개발한다.
• LLM에서 백엔드 모듈로 결정을 전이하는 하이브리드 메시지 전달 메커니즘을 설계한다.
• 정교한 지각을 향상시키기 위한 픽셀 수준의 시공간 비전-언어 정렬을 구현한다.
• 작업 간 공유 불변 특징을 최대화하기 위한 교차 작업 시너지 모듈을 도입한다.

제안 방법

• 이미지, 비디오, 및 영역(스케치) 인코더를 갖춘 인코더-LLM-디코더 아키텍처를 사용하여 중앙 LLM에 피드합니다.
• 이산적 텍스트 지시와 연속 신호 임베딩을 결합한 하이브리드 LLM-백엔드 메시지 전달을 적용합니다.
• 확산 기반 생성, 분할, 비디오 편집 등 최첨단 시각 전문 모듈을 백엔드 디코더로 통합합니다.
• 세 가지 단계로 학습합니다: 기본 다중모달 정렬 및 지시/임베딩 조정; 미세한 시공간 정합; 교차 작업 시너지 학습.
• 임베딩을 작업 특이적 특징과 작업 불변 특징으로 분해하고, 교차 작업 공유를 극대화하기 위해 적대적 학습을 적용합니다.

실험 결과

연구 질문

• RQ1 단일 비전 LLM이 이미지와 비디오 모두에 대해 픽셀 수준의 이해, 생성, 분할, 편집을 함께 처리할 수 있는가?
• RQ2 LLM-백엔드 간 커뮤니케이션을 어떻게 최적화하여 모달리티 신호를 보존하면서 정확한 작업 명령을 발령할 수 있는가?
• RQ3 교차 작업 시너지 메커니즘이 작업 간 공유 가능한 미세한 시각 특징을 통해 성능을 향상시키는가?
• RQ4 미세한 시공간 정합이 다운스트림 비전 QA 및 그라운딩 작업에 미치는 영향은 무엇인가?

주요 결과

• VITRON은 이해, 생성, 분할, 편집에 걸친 12개 작업과 22개 데이터셋에서 능력을 입증한다.
• 기존의 전문가 시스템과 비교했을 때, VITRON은 여러 작업에서 최첨단과 동등하거나 이를 능가한다.
• 제거된 결과는 하이브리드 메시지 전달과 교차 작업 시너지가 성능 향상에 기여함을 보인다.
• 픽셀 수준의 시공간 정합은 이미지와 비디오 전반에서 그라운딩, QA, 및 영역 수준 이해를 향상시킨다.
• 작업 불변 특징 공유를 통한 교차 작업 시너지는 여러 시각 작업에서 광범위한 개선을 가져온다.
• 경험적 분석은 백엔드 모듈 호출을 위한 이산 텍스트 지시와 연속 임베딩의 이점을 모두 검증한다.