[논문 리뷰] MultiViz: Towards Visualizing and Understanding Multimodal Models

Paul Pu Liang, Yiwei Lyu외 6명|arXiv (Cornell University)|2022. 06. 30.

Explainable Artificial Intelligence (XAI)인용 수 15

한 줄 요약

MultiViz는 단모달 기여도, 교차모달 상호작용, 다모달 표현, 예측 구성의 네 단계 분석을 통해 다모달 모델을 해석하는 프레임워크를 제안한다. 8개의 모델과 6개의 실세계 과제에서 평가된 결과, 정확한 모델 시뮬레이션, 해석 가능한 기여도 할당, 오류 분석, 인간-중심 디버깅이 가능하며, 코드와 도구는 커뮤니티 사용을 위해 공개되어 있다.

ABSTRACT

The promise of multimodal models for real-world applications has inspired research in visualizing and understanding their internal mechanics with the end goal of empowering stakeholders to visualize model behavior, perform model debugging, and promote trust in machine learning models. However, modern multimodal models are typically black-box neural networks, which makes it challenging to understand their internal mechanics. How can we visualize the internal modeling of multimodal interactions in these models? Our paper aims to fill this gap by proposing MultiViz, a method for analyzing the behavior of multimodal models by scaffolding the problem of interpretability into 4 stages: (1) unimodal importance: how each modality contributes towards downstream modeling and prediction, (2) cross-modal interactions: how different modalities relate with each other, (3) multimodal representations: how unimodal and cross-modal interactions are represented in decision-level features, and (4) multimodal prediction: how decision-level features are composed to make a prediction. MultiViz is designed to operate on diverse modalities, models, tasks, and research areas. Through experiments on 8 trained models across 6 real-world tasks, we show that the complementary stages in MultiViz together enable users to (1) simulate model predictions, (2) assign interpretable concepts to features, (3) perform error analysis on model misclassifications, and (4) use insights from error analysis to debug models. MultiViz is publicly available, will be regularly updated with new interpretation tools and metrics, and welcomes inputs from the community.

연구 동기 및 목표

• 실세계 응용에서 점점 더 널리 사용되고 있지만 이해하기 어려운 블랙박스 다모달 모델을 해석하는 데 도전하는 것.
• 다양한 모달리티, 모델, 과제에 걸쳐 다모달 모델 행동을 시각화하고 이해하기 위한 체계적이고 모듈러한 접근법을 개발하는 것.
• 사람이 참여하는 해석을 통해 모델 디버깅, 신뢰 구축, 오류 분석을 지원하는 것.
• 기존 다모달 데이터셋과 모델과 통합 가능한 공개된 확장 가능한 툴킷을 제공하는 것.

제안 방법

• 해석 가능성의 네 단계로 구성된 프레임워크: 단모달 기여도, 교차모달 상호작용, 다모달 표현, 다모달 예측.
• 기울기 기반 기여도를 사용해 단모달 기여도를 정량화하고 주요 입력 영역을 식별한다.
• 주의 시각화와 활성화 분석을 적용해 교차모달 상호작용을 밝혀내고 잠재적인 다모달 관계를 발견한다.
• 결정 수준의 특징에 대한 局부 및 전반적 분석을 수행해 해석하기 어려운 활성화를 인간이 이해할 수 있는 개념(예: 색상, 감정)과 연결한다.
• 특징 수준의 분해와 재구성을 통해 최종 예측을 위한 결합 방식을 연구한다.
• 사용자가 입력을 조작하고 특징 활성화 및 예측 변화를 관찰할 수 있도록 해, 모델 시뮬레이션과 오류 분석을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 모달리티와 과제에서 다모달 모델의 내부 행동을 체계적으로 시각화하고 해석할 수 있는 방법은 무엇인가?
• RQ2 MultiViz는 사용자가 추상적인 특징에 해석 가능한 개념을 할당하고 모델 예측을 시뮬레이션하는 데 얼마나 효과적인가?
• RQ3 MultiViz는 실세계 다모달 응용에서 효과적인 오류 분석과 모델 디버깅을 지원할 수 있는가?
• RQ4 MultiViz의 네 단계가 고립된 해석 방법보다 인간의 모델 행동 이해를 얼마나 향상시키는가?

주요 결과

• MultiViz는 모달 기여도와 특징 조합의 단계적 분석을 통해 결정을 재구성함으로써 정확한 모델 예측 시뮬레이션을 가능하게 한다.
• 사용자는 유사한 입력에서 전반적인 활성화 패턴을 통해 이전에는 해석하기 어려웠던 특징에 해석 가능한 언어 개념(예: '색상', '감정')을 할당할 수 있었다.
• 오류 분석을 통해 특정 모달리티 상호작용(예: 시각-언어 모델에서 시각적 단서에 과도하게 의존하는 것)과 연관된 오분류 패턴을 파악할 수 있었다.
• MultiViz의 통찰을 활용한 인간-중심 디버깅은 타겟된 모델 개선을 이끌어내어 실세계 모델 정교화에서 실용적 유용성을 입증했다.
• 이 프레임워크는 8개의 다양한 모델, 6개의 모달리티, 6개의 실세계 과제(다모달 융합, 검색, 질의응답 포함)에서 검증되었다.
• 툴킷은 GitHub에서 공개되어 있으며 확장 가능하도록 설계되었으며, 커뮤니티 기여를 통해 새로운 해석 도구와 평가 지표를 통합할 계획이다.