[논문 리뷰] LMEye: An Interactive Perception Network for Large Language Models

Yunxin Li, Baotian Hu외 4명|arXiv (Cornell University)|2023. 05. 05.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

LMEye는 대규모 언어 모델(Large Language Models, LLMs)이 이미지에서 작업에 맞는 시각적 특징을 동적으로 요청할 수 있도록 해주는 상호작용 가능한 인지 네트워크를 도입한다. 이는 정적 시각 인코딩을 초월해 다중모달 이해를 향상시킨다. 고정된 LLM과 시각 인코더, 요청 기반의 시각 상호작용 모듈을 통합함으로써 LMEye는 4.4B 매개수만으로 MMBench와 SEED-Bench에서 최신 기준의 zero-shot 성능을 달성하며, LLaVA(7B)나 BLIP-2와 같은 더 큰 모델들을 능가한다.

ABSTRACT

Training a Multimodal Large Language Model (MLLM) from scratch, like GPT-4, is resource-intensive. Regarding Large Language Models (LLMs) as the core processor for multimodal information, our paper introduces LMEye, a human-like eye with a play-and-plug interactive perception network, designed to enable dynamic interaction between LLMs and external vision information. Previous methods incorporate visual information into LLMs with a simple visual mapping network or Q-former from BLIP-2. Such networks project the image feature once yet do not consider the interaction between the image and the human input query. Hence, the obtained visual information without being connected to human intention may be inadequate for LLMs to generate intention-following responses, which we refer to as static visual information. LMEye addresses this issue by allowing the LLM to request the desired visual information aligned with various human instructions, which we term as the dynamic visual information interaction. Specifically, LMEye consists of a simple visual mapping network to provide the basic perception of an image for LLMs. It also contains additional modules responsible for acquiring requests from LLMs, performing request-based visual information interaction, and transmitting the resulting interacted visual information to LLMs, respectively. In this way, LLMs act to understand the human query, deliver the corresponding request to the request-based visual information interaction module, and generate the response based on the interleaved multimodal information. We evaluate LMEye through extensive experiments on some multimodal benchmarks, demonstrating that it significantly improves the zero-shot performance on various multimodal tasks compared to previous methods, with less parameters.

연구 동기 및 목표

• 기존 다중모달 LLM에서 시각적 특징이 한 번만 매핑되며 사용자 질의와의 상호작용 없이 고정된 특징 인코딩을 하는 데서 비롯하는 한계를 해결하기 위해.
• 사용자 지시에 기반해 맥락적으로 관련된 시각적 특징을 LLM이 능동적으로 요청함으로써 작업에 맞는 의도와의 정렬을 향상시키기 위해.
• LLM 아키텍처를 수정하지 않고도 다중모달 추론을 향상시킬 수 있는 매개수 효율적이고 플러그 앤 플레이 가능한 프레임워크를 개발하기 위해.
• 동적 시각 상호작용이 작은 모델 크기임에도 불구하고 다양한 다중모달 벤치마크에서 zero-shot 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• LMEye는 이중 단계 아키텍처를 사용한다: 첫 번째 단계에서 Q-Former 기반의 시각 매핑 네트워크가 LLM을 위한 기본적인 전역 이미지 특징을 제공한다.
• 두 번째 단계에서 요청 기반 시각 정보 상호작용(Request-based Visual Information Interaction, RVII) 모듈이 LLM이 작업에 맞는 시각적 특징을 추출하도록 유도하는 질의를 생성하게 한다.
• LLM은 사용자 질의와 이미지 특징을 처리한 후, RVII 모듈에 정교화된 지시에 맞는 시각적 표현을 추출해 달라는 요청을 보낸다.
• RVII 모듈은 어텐션 메커니즘을 사용하여 LLM의 요청과 관련된 이미지 영역에 집중함으로써 상호작용된 시각적 특징을 생성하고, 이는 텍스트 및 기본 이미지 특징과 융합된다.
• 전체 시스템은 매개수 효율적인 방식으로 훈련되며, LLM과 시각 인코더는 고정된 채로 유지하고, 시각-언어 어댑터와 RVII 모듈만 미세조정된다.
• 이 프레임워크는 다양한 LLM과 시각 인코더와 호환되며, 기존의 다중모달 파이프라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 LLM과 시각 인코더 간의 동적 시각 상호작용이 정적 시각 특징 매핑에 비해 zero-shot 다중모달 성능을 향상시키는가?
• RQ2 요청 기반의 시각 상호작용 메커니즘이 LLM의 지시 준수 응답 생성 능력, 특히 시각 질문 응답 및 이미지 기술 작업에서 어떻게 향상되는가?
• RQ3 LMEye와 같은 경량이며 매개수 효율적인 프레임워크가 더 큰, 더 복잡한 다중모달 LLM보다 다중모달 벤치마크에서 뛰어난 성능을 내는가?
• RQ4 다양한 다중모달 지시 준수 데이터의 통합이 LLM의 상호작용 가능한 인지 기능의 이점을 증폭시키는가?
• RQ5 제안된 방법은 아키텍처 수정 없이 다양한 LLM 크기와 아키텍처에 일반화 가능한가?

주요 결과

• 동일한 LLM(OPT-1.3b)을 사용할 때, LMEye는 표준 BLIP-2 대비 OK-VQA 벤치마크에서 5.0%의 절대 성능 향상을 달성한다.
• 장문 답변 VQA에서 LLaMA-7b 기반 LMEye는 LLaVA(Vicuna-7b)보다 20% 높은 성능을 기록하며, 더 뛰어난 추론 및 생성 능력을 입증한다.
• LMEye는 오직 4.4B 매개수로 MMBench와 SEED-Bench에서 최신 기준 성능을 달성하며, LLaVA(7B)나 FROMAGe(6.7B)와 같은 더 큰 모델들을 능가한다.
• 제거 실험 결과, RVII 모듈이 LLaMA-7b, OPT-1.3b, Vicuna-7b 등 다양한 LLM에서 zero-shot 성능을 크게 향상시킨다는 것이 확인되었다.
• 시각 질문 응답, 세부적인 이미지 기술, 다중모달 추론 등 다양한 작업에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 보여준다.
• 작은 LLM을 사용할 때도 강력한 성능 유지를 보이며, 동적 시각 상호작용이 모델 크기의 한계를 상쇄시킬 수 있음을 입증한다.