[論文レビュー] Multimodal Explainable Artificial Intelligence: A Comprehensive Review of Methodological Advances and Future Research Directions

Nikolaos Rodis, Christos Sardianos+4 more|arXiv (Cornell University)|Jun 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本論文は、マルチモーダルな説明可能AI（MXAI）について包括的なレビューを提示し、マルチモーダル予測タスクにおける手法、データセット、評価指標、課題を体系的に分析している。本研究では、モダリティ数、説明のタイミング、数学的定式化に基づいてMXAIアプローチの構造的分類を提案し、評価のギャップ、アノテーションにおけるバイアス、ユーザーに合わせた説明の必要性を強調している。

ABSTRACT

Despite the fact that Artificial Intelligence (AI) has boosted the achievement of remarkable results across numerous data analysis tasks, however, this is typically accompanied by a significant shortcoming in the exhibited transparency and trustworthiness of the developed systems. In order to address the latter challenge, the so-called eXplainable AI (XAI) research field has emerged, which aims, among others, at estimating meaningful explanations regarding the employed model reasoning process. The current study focuses on systematically analyzing the recent advances in the area of Multimodal XAI (MXAI), which comprises methods that involve multiple modalities in the primary prediction and explanation tasks. In particular, the relevant AI-boosted prediction tasks and publicly available datasets used for learning/evaluating explanations in multimodal scenarios are initially described. Subsequently, a systematic and comprehensive analysis of the MXAI methods of the literature is provided, taking into account the following key criteria: a) The number of the involved modalities (in the employed AI module), b) The processing stage at which explanations are generated, and c) The type of the adopted methodology (i.e. the actual mechanism and mathematical formalization) for producing explanations. Then, a thorough analysis of the metrics used for MXAI methods evaluation is performed. Finally, an extensive discussion regarding the current challenges and future research directions is provided.

研究の動機と目的

• マルチモーダル説明可能AI（MXAI）の最近の進展を、予測タスク、データセット、メソドロジーの枠組みごとに体系的に分析すること。
• モダリティの数、説明生成の段階、背後にある数学的定式化に基づいてMXAI手法を特定および分類すること。
• MXAIの既存の評価指標とプロトコルを評価し、標準化されたベンチマークと客観的な評価基準の欠如を強調すること。
• バイアスのあるテキストアノテーション、真の視覚的説明の不在、マルチモーダル評価プロトコルの不足といった重要な課題に対処すること。
• エンドユーザーの多様な専門知識水準と認知能力を考慮したユーザー中心の説明設計を提唱すること。

提案手法

• 本論文は、入力および説明におけるモダリティ数、説明生成の段階（トレーニング vs. 推論）、採用された数学的定式化の3つの基準に基づいてMXAI手法を分類するための体系的文献レビュー手法を採用している。
• MXAI技術を単一モダリティおよびマルチモーダル説明生成に分類し、入力と同一モダリティの説明と、異なるモダリティの出力を生成するもの（例：視覚的入力に対してテキストによる説明）を区別している。
• 既存の説明品質評価指標を評価し、モダリティ間の相関関係と人間の主観性を考慮した標準化されたマルチモーダル評価プロトコルの欠如を強調している。
• モダリティ固有のサリエンシー、統合メカニズムの解釈可能性、および複数モダリティにわたる因果的特徴の同定を分析することで、MXAIシステムの評価フレームワークを提案している。
• MXAI研究で使用されている公開データセットの批判的レビューを含み、データの可用性とアノテーション品質のギャップを特定している。
• 人為的アノテーションによるテキスト説明のバイアスや、教師あり学習のための真の視覚的説明データの不在といった課題を体系的に分析している。

(a)

実験結果

リサーチクエスチョン

• RQ1 入力および説明に使用されるモダリティ数に基づいてMXAI手法はどのように分類されるのか。また、解釈可能性にどのような影響を及えるのか。
• RQ2 主な予測モデルのライフサイクルのどの段階で説明が生成されるのか。これは説明の信頼性と有用性にどのように影響するのか。
• RQ3 MXAIで最も一般的に使用される数学的定式化は何か。また、それらは説明の質と理解可能性にどのように影響を与えるのか。
• RQ4 現在のMXAIの評価実践における主な制限は何なのか。これらは異なる手法間の客観的比較を妨げるのか。
• RQ5 非専門家や分野専門家を含むさまざまなユーザーのプロファイルに合わせて説明をどのようにカスタマイズできるか。これにより信頼性と使いやすさがどのように向上するのか。

主な発見

• 真の視覚的説明データの不足が深刻な課題となっており、視覚的説明のための教師あり学習ベースのMXAIモデルの開発を妨げている。
• 人為的アノテーションによるテキスト説明は、個人の背景や気質の違いによりバイアスや矛盾を含むことが多く、説明モジュールの学習データの信頼性を低下させている。
• 現在のMXAIの評価実践は、主にモダリティを独立して評価しており、モダリティ間の相関関係を無視しているため、説明の質に関する誤解を招く可能性がある。
• 現在のところ、タスクやモデル固有の評価指標は限定的であり、マルチモーダル解釈性評価のための標準化されたベンチマークは存在しない。
• モダリティ固有の寄与とそれらの共同影響を両方とも考慮したマルチモーダル解釈性指標の開発が強く求められている。
• 特に非専門家を想定したユーザーの専門知識水準に合わせたカスタマイズされた説明は、理解度、信頼性、および人間とAIシステムの協働性を顕著に向上させることができる。

(b)