[논문 리뷰] AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model

Seungwhan Moon, Andrea Madotto외 11명|arXiv (Cornell University)|2023. 09. 27.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

AnyMAL은 다양한 입력—텍스트, 이미지, 비디오, 오디오, IMU 센서 데이터—를 700억 파라미터 LLaMA-2 모델의 텍스트 임베딩 공간으로 통합하는 스케일러블하고 효율적인 다중모odal 언어 모델이다. 모ality별 어댑터를 통해 이를 달성하며, 새로운 고품질 다중모달 지시 데이터셋(MM-IT)을 활용한 지시 테이닝을 통해 VQAv2에서 +7.0% 정확도 향상 및 AudioCaps에서 +14.5% CIDEr 향상을 기록하며 최신 기준 성능을 달성한다.

ABSTRACT

We present Any-Modality Augmented Language Model (AnyMAL), a unified model that reasons over diverse input modality signals (i.e. text, image, video, audio, IMU motion sensor), and generates textual responses. AnyMAL inherits the powerful text-based reasoning abilities of the state-of-the-art LLMs including LLaMA-2 (70B), and converts modality-specific signals to the joint textual space through a pre-trained aligner module. To further strengthen the multimodal LLM's capabilities, we fine-tune the model with a multimodal instruction set manually collected to cover diverse topics and tasks beyond simple QAs. We conduct comprehensive empirical analysis comprising both human and automatic evaluations, and demonstrate state-of-the-art performance on various multimodal tasks.

연구 동기 및 목표

• 텍스트와 이미지 외의 다양한 모달리티를 지원하는 오픈소스이자 스케일러블한 다중모달 LLM의 부족을 보완한다.
• 통합된 텍스트 기반 추론 프레임워크를 통해 이미지 + 오디오 + 동작 센서와 같은 혼합된 다중모달 입력에 대한 동시 추론을 가능하게 한다.
• 기존 모델의 한계를 극복하기 위해 단순한 질의응답을 넘어서는 복잡하고 제약 없는 다중모달 작업에 지시 테이닝을 확장한다.
• 기본 LLM의 추론 능력을 유지하면서도 다중모달 이해를 가능하게 하는 스케일러블하고 효율적인 훈련 레시피를 개발한다.

제안 방법

• 이미지, 비디오, 오디오, IMU 신호에서 입력을 700억 파라미터의 사전 훈련된 LLaMA-2-70B 모델의 텍스트 임베딩 공간으로 매핑하기 위해 모달리티별 경량 어댑터를 사용한다.
• 이미지 공간과 정렬된 사전 훈련된 인코더(예: CLIP, CLAP, IMU2CLIP)를 활용하여 기능 호환성을 확보하고 훈련 비용을 절감한다.
• 추론 능력을 유지하고 수렴 속도를 높이기 위해 LLM 파라미터를 고정하고, 어댑터 및 투영 레이어만 미세조정한다.
• 공통된 공동 토큰 공간을 사용하여 쌍으로 연결된 모달리티 신호와 텍스트 서술 간의 대비 목표를 사용해 정렬을 훈련한다.
• 다양한 도메인에서 이미지, 비디오, 오디오 작업을 포함하는 새로 수집한 고품질 다중모달 지시 훈련 데이터셋(MM-IT)을 사용해 전체 모델을 미세조정한다.
• 추론 시에 이미지, 텍스트, 다중모달 분류기를 포함한 안전 메커니즘을 적용하여 유해한 입력 또는 출력을 탐지하고 거부한다.

Figure 1 : Example AnyMAL outputs. The model understands various input signals ( i.e . vision, audio, motion sensor signals), and responds to free-form user queries. When multiple modalities are interleaved and given as input ( e.g . right-most: image + IMU motion sensor signals), the model reasons

실험 결과

연구 질문

• RQ1 텍스트 기반 추론 공간으로 다양한 모달리티—텍스트, 이미지, 비디오, 오디오, IMU—를 통합하는 통합적이고 확장 가능한 프레임워크가 성능 저하 없이 효과적으로 작동할 수 있는가?
• RQ2 다양하고 수작업으로 촉진된 다중모달 지시 데이터셋에서의 지시 테이닝은 표준 질의응답 작업을 넘어서 추론 능력을 어떻게 향상시키는가?
• RQ3 대규모 오픈소스 다중모달 LLM이 안전성과 무결성을 유지하면서도 여러 벤치마크에서 최신 기준 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 기본 LLM을 미세조정하지 않고도 효율적이고 확장 가능한 다중모달 정렬을 가능하게 하는 핵심 아키텍처 및 훈련 선택은 무엇인가?

주요 결과

• AnyMAL은 기존 모델 대비 VQAv2 벤치마크에서 +7.0% 상대 정확도 향상을 기록하며 강력한 시각적 추론 능력을 입증한다.
• 기존 모델 대비 +8.4% CIDEr 점수 향상을 기록하며, zero-shot COCO 이미지 캡셔닝에서 새로운 최신 기준 성능을 확립한다.
• AudioCaps 벤치마크에서 AnyMAL은 zero-shot 캡셔닝에서 +14.5% CIDEr 점수 향상을 기록하여 강력한 청각 이해 및 생성 능력을 보여준다.
• 모델은 이미지 + IMU + 텍스트와 같은 혼합된 다중모달 프롬프팅을 성공적으로 지원하여 통합된 감각 입력에 대한 동시 추론을 가능하게 한다.
• 인간 평가 결과, 다양한 다중모달 작업 전반에서 AnyMAL이 더 정확하고 논리적이며 맥락에 기반한 응답을 생성하는 것으로 확인된다.
• 추론 시 적용된 안전 메커니즘은 이미지, 텍스트, 다중모달 연관성 등에서 유해하거나 편향된 내용을 생성할 수 있는 콘텐츠를 효과적으로 탐지하고 거부한다.

Figure 2 : AnyMAL Training. (a) Modality alignment pre-training allows for mapping the output of each modality encoder into the joint LLM embeddings space through projection layers. (b) With multimodal instruction tuning, the model learns to associate system instructions and text queries with input