[논문 리뷰] mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models
논문은 Hyper Attention 블록을 갖춘 경량 멀티모달 LLM인 mPLUG-Owl3을 제시하며, 비주얼과 언어를 긴 이미지 시퀀스에서 효율적으로 통합하고, 유사한 규모의 모델 중 단일 이미지, 다중 이미지, 비디오 벤치마크에서 최첨단 성능을 달성하며, 긴 시각 컨텍스트에 대한 Distractor Resistance를 도입합니다.
Multi-modal Large Language Models (MLLMs) have demonstrated remarkable capabilities in executing instructions for a variety of single-image tasks. Despite this progress, significant challenges remain in modeling long image sequences. In this work, we introduce the versatile multi-modal large language model, mPLUG-Owl3, which enhances the capability for long image-sequence understanding in scenarios that incorporate retrieved image-text knowledge, interleaved image-text, and lengthy videos. Specifically, we propose novel hyper attention blocks to efficiently integrate vision and language into a common language-guided semantic space, thereby facilitating the processing of extended multi-image scenarios. Extensive experimental results suggest that mPLUG-Owl3 achieves state-of-the-art performance among models with a similar size on single-image, multi-image, and video benchmarks. Moreover, we propose a challenging long visual sequence evaluation named Distractor Resistance to assess the ability of models to maintain focus amidst distractions. Finally, with the proposed architecture, mPLUG-Owl3 demonstrates outstanding performance on ultra-long visual sequence inputs. We hope that mPLUG-Owl3 can contribute to the development of more efficient and powerful multimodal large language models.
연구 동기 및 목표
- 멀티모달 LLM에서 긴 이미지 시퀀스 이해의 과제를 해결한다.
- 시각적 디테일을 보존하면서 시간적 범위를 확장하는 경량 크로스 어텐션 메커니즘을 개발한다.
- 교차된 비주얼-언어 입력과 초장 길이의 시각 시퀀스의 효율적인 처리를 가능하게 한다.
- 단일 이미지, 다중 이미지, 비디오 벤치마크 전반에서 성능을 평가하고 긴 컨텍스트 디스트랙터 테스트를 도입한다.
제안 방법
- Self-attention을 크로스-어텐션과 병렬로 확장하는 Hyper Attention Transformer Block(HATB)를 도입한다.
- Interleaved 시퀀스 내의 시각 위치를 인코딩하기 위해 Multimodal-Interleaved Rotary Position Embedding(MI-Rope)을 사용한다.
- 텍스트 맥락에 기반한 시각 및 텍스트 특징을 융합하기 위한 적응적 게이팅 메커니즘을 채택한다.
- 시각 정보를 보존하기 위해 언어 모델에서 초기화된 시각 KV 프로젝션을 공유한다.
- 이미지-텍스트 사전학습, 다중 이미지 사전학습(Interleaved, 텍스트-풍부, 비디오 데이터를 포함), 지시 데이터로의 감독 파인튜닝의 세 단계로 학습한다.

실험 결과
연구 질문
- RQ1멀티모달 LLM에서 excessive 메모리나 레이턴시 없이 긴 Interleaved 이미지-텍스트 시퀀스를 효율적으로 융합할 수 있는 방법은 무엇인가?
- RQ2Hyper Attention이 단일 이미지, 다중 이미지, 비디오 과제에서 이전의 교차 어텐션 방식과 비교하여 견고한 성능을 제공하는가?
- RQ3MI-Rope와 적응적 게이팅이 다중 이미지 및 비디오 이해에 미치는 영향은 무엇인가?
- RQ48B 매개변수 규모의 모델이 효율성을 유지하면서 다양한 멀티모달 벤치마크에서 최첨단 결과를 달성할 수 있는가?
주요 결과
- mPLUG-Owl3는 단일 이미지, 다중 이미지, 비디오 작업을 포함하는 20개 벤치마크 중 14개에서 유사 규모의 모델 중 최첨단 성능을 달성한다.
- Hyper Attention 설계는 단일 이미지 결과를 강하게 만들고, 연결 기반 및 다른 교차 어텐션 방식에 비해 다중 이미지 및 비디오 성능을 향상시킨다.
- MI-Rope와 적응적 게이팅은 다중 이미지 및 비디오 이해에 크게 기여하며, 네 가지 통합 HATB 계층이 성능과 효율성 사이의 균형을 제공한다.
- 초장 길이의 시각 시퀀스 및 디스트랙터가 풍부한 컨텍스트에서 mPLUG-Owl3은 견고한 디스트랙터 저항성을 보이며, 롱 컨텍스트 평가에서 여러 베이스라인을 능가한다.
- 모델은 8B 매개변수 규모에 비해 더 큰 동료들에 비해 추론 속도와 메모리 효율이 우수하며, 가벼운 Hyper Attention 블록이 이를 돕는다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.