[논문 리뷰] OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding

Tao Zhang, Xiangtai Li외 6명|arXiv (Cornell University)|2024. 06. 27.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

OMG-LLaVA는 하나의 모델에서 이미지 수준, 객체 수준, 픽셀 수준의 추론을 하나의 LLM, 하나의 시각 인코더, 하나의 시각 디코더와 결합하여 다양한 멀티모달 태스크를 가능하게 한다.

ABSTRACT

Current universal segmentation methods demonstrate strong capabilities in pixel-level image and video understanding. However, they lack reasoning abilities and cannot be controlled via text instructions. In contrast, large vision-language multimodal models exhibit powerful vision-based conversation and reasoning capabilities but lack pixel-level understanding and have difficulty accepting visual prompts for flexible user interaction. This paper proposes OMG-LLaVA, a new and elegant framework combining powerful pixel-level vision understanding with reasoning abilities. It can accept various visual and text prompts for flexible user interaction. Specifically, we use a universal segmentation method as the visual encoder, integrating image information, perception priors, and visual prompts into visual tokens provided to the LLM. The LLM is responsible for understanding the user's text instructions and providing text responses and pixel-level segmentation results based on the visual information. We propose perception prior embedding to better integrate perception priors with image features. OMG-LLaVA achieves image-level, object-level, and pixel-level reasoning and understanding in a single model, matching or surpassing the performance of specialized methods on multiple benchmarks. Rather than using LLM to connect each specialist, our work aims at end-to-end training on one encoder, one decoder, and one LLM. The code and model have been released for further research.

연구 동기 및 목표

• 이미지 수준, 객체 수준, 픽셀 수준의 이해와 추론을 하나의 모델 솔루션으로 연결하려는 동기를 제시한다.
• 고정된 LLM에 풍부한 시각 토큰을 제공하기 위해 보편적 지각 모듈을 활용한다.
• 여러 개의 태스크 특화 어댑터나 디코더 없이 엔드투엔드 태스크 통합을 달성한다.
• 이미지 수준 및 영역 수준의 추론을 가능하게 하면서 픽셀 수준의 분할 능력을 보존한다.
• 분할, 그라운딩, 그라운드드 대화 벤치마크에서 강력한 성능을 보여준다.

제안 방법

• OMG-Seg를 고정된 보편적 지각 인코더로 사용하여 픽셀 중심 및 객체 중심 시각 토큰을 생성한다.
• 객체 질의와 이미지 특징을 LLM용 토큰 표현으로 융합하기 위한 지각 우선 임베딩 모듈을 도입한다.
• 이미지, 영역, 텍스트 프롬프트를 LLM가 텍스트 및 분할 토큰을 생성하도록 통합 토큰 형식으로 인코딩한다.
• LLM의 [SEG] 토큰 출력은 OMG 디코더를 통해 분할 마스크로 디코딩한다.
• 두 단계로 학습한다: 고정된 지각 모듈과 학습 가능한 프로젝션으로 사전 학습; LLM에 대해 LoRA로 지시 미세조정과 분할 손실에 대한 감독.
• 다양한 태스크를 가능하게 하는 <Image>, <Region>, 및 [SEG] 토큰을 사용하는 통합 지시 형식을 채택한다.

실험 결과

연구 질문

• RQ1 하나의 인코더, 하나의 디코더, 하나의 LLM으로 구성된 단일 MLLM 아키텍처에서 이미지 수준, 객체 수준, 픽셀 수준의 태스크를 해결할 수 있는가?
• RQ2 지각 우선 임베딩이 객체 중심 정보를 픽셀 특징으로 효과적으로 통합하여 LLM 추론에 기여하는가?
• RQ3 통합 방식이 이미지 자막 생성, VQA, 참조 분할, 그라운드드 대화 태스크에서 특수화된 시스템이나 다중 모듈 시스템과 비교하여 어떤 성능을 보이는가?
• RQ4 시각 프롬프트(포인트, 상자, 마스크)가 객체 수준 이해 및 프롬프트 구동 분할에 미치는 영향은 무엇인가?
• RQ5 태스크 특화 어댑터 없이 광범위한 멀티모달 기능을 지원하기 위해 어떤 데이터와 학습 전략이 필요한가?

주요 결과

• OMG-LLaVA는 하나의 모델 내에서 이미지-, 객체-, 픽셀 수준의 이해와 추론을 달성한다.
• 지각 우선 임베딩은 분할-텍스트 정렬을 크게 개선하여 RES 및 GCG 태스크를 향상시킨다.
• 객체 질의 입력을 LLM에 제공하면 참조 분할 및 그라운드드 태스크에서 추가 성능 향상이 있다.
• 최신 MLLMs과 비교했을 때 OMG-LLaVA는 참조 분할 및 그라운드드 대화에서 경쟁력 있거나 우수한 결과를 얻으면서도 보편적 분할 능력을 유지한다.
• 이 모델은 단일 시각 인코더와 디코더를 사용하여 다중 인코더/디코더 방식에 비해 복잡성 및 계산량을 줄인다.