[论文解读] MultiViz: Towards Visualizing and Understanding Multimodal Models

Paul Pu Liang, Yiwei Lyu+6 more|arXiv (Cornell University)|Jun 30, 2022

Explainable Artificial Intelligence (XAI)被引用 15

一句话总结

MultiViz 提出了一种四阶段框架，通过分析单模态重要性、跨模态交互、多模态表征和预测构成，实现对多模态模型的解释。在 8 个模型和 6 个真实世界任务中进行评估，该框架支持精确的模型仿真、可解释的特征归因、错误分析以及人机协同调试，代码和工具已公开，可供社区使用。

ABSTRACT

The promise of multimodal models for real-world applications has inspired research in visualizing and understanding their internal mechanics with the end goal of empowering stakeholders to visualize model behavior, perform model debugging, and promote trust in machine learning models. However, modern multimodal models are typically black-box neural networks, which makes it challenging to understand their internal mechanics. How can we visualize the internal modeling of multimodal interactions in these models? Our paper aims to fill this gap by proposing MultiViz, a method for analyzing the behavior of multimodal models by scaffolding the problem of interpretability into 4 stages: (1) unimodal importance: how each modality contributes towards downstream modeling and prediction, (2) cross-modal interactions: how different modalities relate with each other, (3) multimodal representations: how unimodal and cross-modal interactions are represented in decision-level features, and (4) multimodal prediction: how decision-level features are composed to make a prediction. MultiViz is designed to operate on diverse modalities, models, tasks, and research areas. Through experiments on 8 trained models across 6 real-world tasks, we show that the complementary stages in MultiViz together enable users to (1) simulate model predictions, (2) assign interpretable concepts to features, (3) perform error analysis on model misclassifications, and (4) use insights from error analysis to debug models. MultiViz is publicly available, will be regularly updated with new interpretation tools and metrics, and welcomes inputs from the community.

研究动机与目标

• 为解决在现实应用中日益广泛使用但对利益相关者仍不透明的黑箱多模态模型的解释挑战。
• 开发一种系统化、模块化的方法，用于可视化和理解跨不同模态、模型和任务的多模态模型行为。
• 通过人机协同解释支持模型调试、信任建立和错误分析。
• 提供一个公开可用、可扩展的工具包，可与现有多模态数据集和模型集成。

提出的方法

• 将可解释性划分为四个阶段：单模态重要性、跨模态交互、多模态表征和多模态预测。
• 使用基于梯度的归因方法量化单模态贡献，并识别显著的输入区域。
• 应用注意力可视化和激活分析，揭示跨模态交互并发现新兴的多模态关系。
• 通过局部和全局决策层特征分析，将难以解释的激活与人类可理解的概念（例如颜色、情绪）关联起来。
• 采用特征级分解与重构，研究决策特征如何组合以形成最终预测。
• 通过允许用户操作输入并观察特征激活和预测的变化，支持模型仿真和错误分析。

实验结果

研究问题

• RQ1 我们如何系统化地可视化和解释多模态模型在不同模态和任务中的内部行为？
• RQ2 MultiViz 在多大程度上能帮助用户模拟模型预测，并为抽象特征分配可解释的概念？
• RQ3 MultiViz 是否能有效支持真实世界多模态应用中的错误分析和模型调试？
• RQ4 与孤立的可解释性方法相比，MultiViz 的四个阶段如何共同提升人类对模型行为的理解？

主要发现

• 通过分阶段分析模态贡献和特征构成，MultiViz 能够准确模拟模型预测。
• 用户能够利用相似输入的全局激活模式，为此前难以解释的特征分配可解释的语言概念（例如“颜色”、“情绪”）。
• 错误分析揭示了与特定模态交互相关的误分类模式，例如视觉语言模型对视觉线索的过度依赖。
• 基于 MultiViz 洞察的人机协同调试导致了针对性的模型改进，证明了其在真实世界模型优化中的实际效用。
• 该框架已在 8 个多样化模型、6 种模态和 6 项真实世界任务中得到验证，涵盖多模态融合、检索和问答等任务。
• 该工具包已在 GitHub 上公开，设计为可扩展，计划通过社区贡献集成新的解释工具和评估指标。