[论文解读] M<sup>2</sup>Lens: Visualizing and Explaining Multimodal Models for Sentiment Analysis

Xingbo Wang, Jianben He+4 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling参考文献 83被引用 82

一句话总结

M2Lens 是一个交互式可视化分析系统，通过在全局、子集和局部三个层次上可视化模态内与模态间交互，解释多模态情感分析模型。它采用事后可解释性技术（如 SHAP）识别有影响力的特征模式和交互类型（主导、互补、冲突），使用户能够以高可解释性与多维探索能力诊断文本、音频和视频模态中的模型行为。

ABSTRACT

Multimodal sentiment analysis aims to recognize people's attitudes from multiple communication channels such as verbal content (i.e., text), voice, and facial expressions. It has become a vibrant and important research topic in natural language processing. Much research focuses on modeling the complex intra- and inter-modal interactions between different communication channels. However, current multimodal models with strong performance are often deep-learning-based techniques and work like black boxes. It is not clear how models utilize multimodal information for sentiment predictions. Despite recent advances in techniques for enhancing the explainability of machine learning models, they often target unimodal scenarios (e.g., images, sentences), and little research has been done on explaining multimodal models. In this paper, we present an interactive visual analytics system, M2 Lens, to visualize and explain multimodal models for sentiment analysis. M2 Lens provides explanations on intra- and inter-modal interactions at the global, subset, and local levels. Specifically, it summarizes the influence of three typical interaction types (i.e., dominance, complement, and conflict) on the model predictions. Moreover, M2 Lens identifies frequent and influential multimodal features and supports the multi-faceted exploration of model behaviors from language, acoustic, and visual modalities. Through two case studies and expert interviews, we demonstrate our system can help users gain deep insights into the multimodal models for sentiment analysis.

研究动机与目标

• 解决缺乏可解释、交互式工具来诊断作为黑箱运行的基于深度学习的多模态情感分析模型的问题。
• 提供多层级解释——全局、子集和局部——说明不同模态（文本、音频、视频）及其交互如何影响模型预测。
• 使用户能够探索并理解情感决策中模态之间主导、互补和冲突等复杂交互模式。
• 支持对频繁且有影响力的多模态特征模板及其对模型行为影响的高效、人性化探索。
• 通过集成可视化组件与专家指导的设计，促进模型诊断与洞察生成。

提出的方法

• 整合事后可解释性方法（如 SHAP）以计算文本、音频和视觉模态中特征重要性得分。
• 在概览视图中采用增强的树状布局，可视化全局模态影响与交互类型（主导、互补、冲突）。
• 在模板视图中生成紧凑、人类可读的特征模板，以总结重复出现且有影响力的多模态特征集合。
• 在投影视图中使用可自定义的符号，基于特征重要性、情感和模态交互，实现对实例的多维探索。
• 在实例视图中通过突出显示关键特征及其在各模态中的上下文，可视化局部解释，用于单个预测。
• 通过套索选择、缩放、视频回放以及对视频数据中面部区域的实时高亮，支持交互式探索。

实验结果

研究问题

• RQ1 如何有效可视化并解释多模态情感分析模型中的模态内与模态间交互？
• RQ2 模态之间最具有影响力的交互类型（如主导、互补、冲突）是什么？它们如何影响模型预测？
• RQ3 如何以人类可读且可操作的方式总结频繁且有影响力的多模态特征模式？
• RQ4 交互式可视化分析在多大程度上能帮助用户深入理解模型行为与错误模式？
• RQ5 用户如何看待一个支持多维、多层级解释多模态模型的系统的可用性与有效性？

主要发现

• 专家认为 M2Lens 在诊断模型行为方面非常有效，有专家指出其帮助识别出 EF-LSTM 几乎完全忽略了文本情感线索。
• 模板视图使用户能够将错误模式泛化到多个实例，有专家强调其在识别重复模型失败方面的实用性。
• 投影视图的热力图与符号化设计受到好评，有助于揭示模态间的错误与重要性模式，尤其在检测冲突信号方面表现突出。
• 概览视图因其对模态主导性与交互类型的全局概览而最受青睐，有助于快速评估模型。
• 专家报告学习曲线适中（约 20 分钟），但认为该系统在理解模型与未来诊断任务中极具价值。
• 专家反馈促成了可操作的改进，包括书签交互与模型对比功能，凸显了该系统在实际工作流程中的实用价值。