[論文レビュー] MultiViz: Towards Visualizing and Understanding Multimodal Models

Paul Pu Liang, Yiwei Lyu+6 more|arXiv (Cornell University)|Jun 30, 2022

Explainable Artificial Intelligence (XAI)被引用数 15

ひとこと要約

MultiVizは、単一モダリティの重要度、クロスモダリティ相互作用、マルチモーダル表現、予測構成の分析を通じて、マルチモーダルモデルを解釈する4段階のフレームワークを提案する。8つのモデルと6つの実世界のタスクで評価された結果、正確なモデルシミュレーション、解釈可能な特徴の帰属、エラー解析、人間を含むループによるデバッグが可能となり、コードとツールはコミュニティ利用のために公開されている。

ABSTRACT

The promise of multimodal models for real-world applications has inspired research in visualizing and understanding their internal mechanics with the end goal of empowering stakeholders to visualize model behavior, perform model debugging, and promote trust in machine learning models. However, modern multimodal models are typically black-box neural networks, which makes it challenging to understand their internal mechanics. How can we visualize the internal modeling of multimodal interactions in these models? Our paper aims to fill this gap by proposing MultiViz, a method for analyzing the behavior of multimodal models by scaffolding the problem of interpretability into 4 stages: (1) unimodal importance: how each modality contributes towards downstream modeling and prediction, (2) cross-modal interactions: how different modalities relate with each other, (3) multimodal representations: how unimodal and cross-modal interactions are represented in decision-level features, and (4) multimodal prediction: how decision-level features are composed to make a prediction. MultiViz is designed to operate on diverse modalities, models, tasks, and research areas. Through experiments on 8 trained models across 6 real-world tasks, we show that the complementary stages in MultiViz together enable users to (1) simulate model predictions, (2) assign interpretable concepts to features, (3) perform error analysis on model misclassifications, and (4) use insights from error analysis to debug models. MultiViz is publicly available, will be regularly updated with new interpretation tools and metrics, and welcomes inputs from the community.

研究の動機と目的

• 実世界の応用でますます広がるが、ステークホルダーに対して透過的でないブラックボックスなマルチモーダルモデルの解釈の課題に対処すること。
• 多様なモダリティ、モデル、タスクにわたるマルチモーダルモデルの挙動を体系的かつモジュラーに可視化し理解すること。
• 人間を含むループによる解釈を通じて、モデルのデバッグ、信頼構築、エラー解析を支援すること。
• 既存のマルチモーダルデータセットおよびモデルと統合可能な、公開・拡張可能なツールキットを提供すること。

提案手法

• 解釈性を4段階に分けて構築：単一モダリティの重要度、クロスモダリティ相互作用、マルチモーダル表現、マルチモーダル予測。
• 勾配ベースの帰属分析を用いて単一モダリティの寄与を定量化し、顕著な入力領域を特定する。
• アテンション可視化と活性化分析を適用して、クロスモダリティ相互作用を解明し、出現するマルチモーダル関係を同定する。
• 意思決定レベルの特徴に対する局所的およびグローバル分析を実施し、人間が解釈可能な概念（例：色、感情）に不可解な活性化を結びつける。
• 特徴レベルの分解と再構成を用いて、最終予測に至る意思決定特徴の構成方法を分析する。
• 入力を操作して特徴活性化や予測の変化を観察可能にすることで、モデルシミュレーションとエラー解析を支援する。

実験結果

リサーチクエスチョン

• RQ1 異なるモダリティとタスクにわたるマルチモーダルモデルの内部挙動を体系的に可視化し解釈するにはどうすればよいか？
• RQ2 MultiVizは、ユーザーがモデルの予測をシミュレートし、抽象的特徴に解釈可能な概念を割り当てるのにどの程度有効か？
• RQ3 MultiVizは、実世界のマルチモーダル応用における効果的なエラー解析とモデルデバッグを支援できるか？
• RQ4 MultiVizの4段階が、個別に使用される解釈手法と比較して、人間のモデル挙動理解をどのように向上させるか？

主な発見

• MultiVizは、モダリティ寄与と特徴構成の段階的分析を通じて意思決定を再構築することで、モデル予測の正確なシミュレーションを可能にする。
• ユーザーは、類似する入力におけるグローバル活性化パターンを用いて、以前は解釈不能とされていた特徴に解釈可能な言語的概念（例：「色」「感情」）を割り当てられた。
• エラー解析により、視覚的ヒントへの過剰依存など、特定のモダリティ相互作用に起因する誤分類パターンが明らかになった。
• MultiVizのインサイトを活用した人間を含むループによるデバッグにより、ターゲットのモデル改善が達成され、実世界のモデル最適化における実用的価値が示された。
• このフレームワークは、8つの多様なモデル、6つのモダリティ、6つの実世界のタスク（マルチモーダル統合、リtrieval、質問応答など）で検証された。
• ツールキットはGitHubで公開されており、拡張性を備えており、コミュニティの貢献を通じて新たな解釈ツールや評価指標の統合を計画している。