[論文レビュー] M<sup>2</sup>Lens: Visualizing and Explaining Multimodal Models for Sentiment Analysis

Xingbo Wang, Jianben He+4 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling参考文献 83被引用数 82

ひとこと要約

M2Lens は、テキスト、音声、ビデオの各モダリティにおける局所的、サブセット的、グローバルレベルの内部的および相互モダリティ相互作用を可視化することで、マルチモーダルセンチメント分析モデルを解釈するインタラクティブなビジュアルアナリティクスシステムです。SHAP などの事後解釈手法を用いて、影響力のある特徴パターンや相互作用タイプ（優位性、補完性、対立）を特定し、テキスト、音声、ビデオの各モダリティにおけるモデルの挙動を高い解釈性と多面的な探索機能で診断できるようにします。

ABSTRACT

Multimodal sentiment analysis aims to recognize people's attitudes from multiple communication channels such as verbal content (i.e., text), voice, and facial expressions. It has become a vibrant and important research topic in natural language processing. Much research focuses on modeling the complex intra- and inter-modal interactions between different communication channels. However, current multimodal models with strong performance are often deep-learning-based techniques and work like black boxes. It is not clear how models utilize multimodal information for sentiment predictions. Despite recent advances in techniques for enhancing the explainability of machine learning models, they often target unimodal scenarios (e.g., images, sentences), and little research has been done on explaining multimodal models. In this paper, we present an interactive visual analytics system, M2 Lens, to visualize and explain multimodal models for sentiment analysis. M2 Lens provides explanations on intra- and inter-modal interactions at the global, subset, and local levels. Specifically, it summarizes the influence of three typical interaction types (i.e., dominance, complement, and conflict) on the model predictions. Moreover, M2 Lens identifies frequent and influential multimodal features and supports the multi-faceted exploration of model behaviors from language, acoustic, and visual modalities. Through two case studies and expert interviews, we demonstrate our system can help users gain deep insights into the multimodal models for sentiment analysis.

研究の動機と目的

• 深層学習に基づくマルチモーダルセンチメント分析モデルがブラックボックスとして動作することに対する、説明可能でインタラクティブなツールの不足に対処すること。
• テキスト、音声、ビデオの各モダリティとその相互作用がモデル予測にどのように影響するかを、グローバル、サブセット、ローカルの多段階で説明すること。
• センチメント意思決定におけるモダリティ間の支配的、補完的、対立的といった複雑な相互作用パターンを、ユーザーが探索し理解できるようにすること。
• 頻度が高く影響力のあるマルチモーダル特徴テンプレートとそのモデル挙動への影響を、人間にとって理解しやすい形で要約すること。
• 統合されたビジュアルコンポーネントとエキスパート指向の設計により、モデルの診断と洞察の生成を促進すること。

提案手法

• テキスト、音声、視覚的モダリティの各領域で特徴の重要度スコアを計算するために、事後解釈手法（例：SHAP）を統合する。
• 要約ビューで拡張されたツリー型レイアウトを採用し、グローバルなモダリティの影響と相互作用タイプ（優位性、補完、対立）を可視化する。
• テンプレートビューで、再発生しやすく影響力のあるマルチモーダル特徴集合を要約する、コンactで人間が読みやすい特徴テンプレートを生成する。
• 特徴の重要度、センチメント、モダリティ相互作用に基づいて、カスタマイズ可能なギフトを用いたプロジェクションビューを活用し、インスタンスの多面的探索を可能にする。
• インスタンスビューで、個々の予測におけるキーフィーチャーとその文脈を、各モダリティにわたって強調表示することで、ローカルな説明を可視化する。
• ラッソ選択、ズーム、動画再生、ビデオデータにおける顔領域のリアルタイム強調表示を含む、インタラクティブな探索をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルセンチメント分析モデルにおける内部的および相互モダリティ相互作用を、どのように効果的に可視化し説明できるか。
• RQ2 モダリティ間の最も影響力のある相互作用タイプ（例：優位性、補完、対立）は何か、そしてそれらがモデル予測にどのように影響するか。
• RQ3 頻度が高く影響力のあるマルチモーダル特徴パターンを、人間が読みやすく実行可能な形で要約する方法は何か。
• RQ4 インタラクティブなビジュアルアナリティクスは、ユーザーがモデル挙動や誤りパターンについて深く実行可能な洞察を得るのをどの程度支援できるか。
• RQ5 マルチモーダルモデルの多面的・多段階的説明を支援するシステムの使いやすさと有効性について、ユーザーはどのように評価するか。

主な発見

• エキスパートは M2Lens がモデル挙動の診断に有効であると評価し、あるエキスパートは EF-LSTM が主にテキストのセンチメントシグナルを無視していることを同定するのを支援したと述べた。
• テンプレートビューにより、複数のインスタンスにわたる誤りパターンの一般化が可能となり、あるエキスパートは繰り返し発生するモデルの失敗を特定するのに有用であると強調した。
• プロジェクションビューのヒートマップとギフトベースのデザインは、モダリティ間の誤りと重要度のパターンを明らかにしたとして称賛された。特に、対立する信号の検出に特に有効であった。
• 要約ビューは、モダリティの優位性と相互作用タイプのグローバルな概要を提供する点で最も評価されており、迅速なモデル評価を支援した。
• エキスパートは、約 20 分の学習曲線を経験したが、モデル理解や今後の診断タスクにおいて極めて有用であると報告した。
• エキスパートのフィードバックにより、ブックマーク機能やモデル比較機能といった実用的な改善が得られ、実際のワークフローにおけるシステムの実用的価値が裏付けられた。