[논문 리뷰] Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey

Yunkai Dang, Kaichen Huang외 12명|arXiv (Cornell University)|2024. 12. 03.

Topic Modeling인용 수 9

한 줄 요약

다중 모달 대형 언어 모델(MLLM)의 설명 가능성과 해석성에 대한 포괄적 고찰로, 데이터, 모델, 그리고 학습/추론 관점에 걸쳐 방법을 정리하고 향후 연구 방향을 제시한다.

ABSTRACT

The rapid development of Artificial Intelligence (AI) has revolutionized numerous fields, with large language models (LLMs) and computer vision (CV) systems driving advancements in natural language understanding and visual processing, respectively. The convergence of these technologies has catalyzed the rise of multimodal AI, enabling richer, cross-modal understanding that spans text, vision, audio, and video modalities. Multimodal large language models (MLLMs), in particular, have emerged as a powerful framework, demonstrating impressive capabilities in tasks like image-text generation, visual question answering, and cross-modal retrieval. Despite these advancements, the complexity and scale of MLLMs introduce significant challenges in interpretability and explainability, essential for establishing transparency, trustworthiness, and reliability in high-stakes applications. This paper provides a comprehensive survey on the interpretability and explainability of MLLMs, proposing a novel framework that categorizes existing research across three perspectives: (I) Data, (II) Model, (III) Training \& Inference. We systematically analyze interpretability from token-level to embedding-level representations, assess approaches related to both architecture analysis and design, and explore training and inference strategies that enhance transparency. By comparing various methodologies, we identify their strengths and limitations and propose future research directions to address unresolved challenges in multimodal explainability. This survey offers a foundational resource for advancing interpretability and transparency in MLLMs, guiding researchers and practitioners toward developing more accountable and robust multimodal AI systems.

연구 동기 및 목표

• 데이터, 모델, 그리고 학습 및 추론 세 가지 관점에 걸친 MLLMs의 설명 가능성과 해석성에 관한 기존 연구를 조사하고 분류한다.
• 토큰 수준에서 임베딩 수준의 표현 및 아키텍처 설계와 분석 전반에 걸쳐 해석 가능성을 분석한다.
• MLLM의 투명성 및 견고성을 향상시키기 위한 강점, 한계 및 향후 연구 방향을 식별한다.

제안 방법

• MLLM의 설명 가능성과 해석성에 관한 논문(2010–2024)에 대한 문헌 조사를 수행한다.
• 데이터, 모델, 학습 및 추론의 세 가지 관점으로 방법을 분류하는 새로운 프레임워크를 제시한다.
• 입출력 분석, 임베딩, 뉴런, 레이어 및 아키텍처 개념을 포함한 분류 체계 및 벤치마킹 논의를 다룬다.
• 방법론 비교 및 강점/한계 식별.
• 향후 연구 방향에 대한 논의를 포함한다.

실험 결과

연구 질문

• RQ1 데이터, 모델, 그리고 학습/추론 차원에서 MLLMs을 어떻게 설명하고 해석할 수 있는가?
• RQ2 토큰 수준, 임베딩 수준, 뉴런 및 레이어 수준의 어떤 통찰이 다중모달 의사결정을 밝히는가?
• RQ3 다중모달 설명 가능성과 견고성을 평가하는 주요 벤치마크, 데이터셋, 평가 프레임워크는 무엇인가?
• RQ4 현 접근법의 주요 한계와 투명성과 신뢰를 높이기 위한 유망한 방향은 무엇인가?

주요 결과

• MLLM 설명 가능성은 데이터, 모델, 그리고 학습 및 추론이라는 3중 렌즈를 통해 가장 잘 이해된다.
• 설명 가능성 방법은 입력-출력 분석, 임베딩/표현 분석, 뉴런/레이어 단위 조사 및 아키텍처 설계 접근법에 걸친다.
• 다중모달 작업에서 정렬성, 견고성 및 도메인 특화 설명 가능성을 평가하기 위한 벤치마킹 및 평가 프레임워크가 발전하고 있다.
• 방법들 간의 강점과 한계가 확인되어 더 투명하고 신뢰할 수 있는 MLLMs를 향한 향후 연구를 안내한다.
• 본 조사는 다중모달 AI 시스템의 해석가능성을 향상시키기 위한 연구자와 실무자를 위한 구조화된 자원을 제공한다.