[論文レビュー] The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations

Vinitra Swamy, Jibril Frej+1 more|arXiv (Cornell University)|Jul 1, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、人間中心の説明可能なAI（XAI）が、後処理による説明にとどまらず、本質的に解釈可能なニューラルネットワークアーキテクチャへと進化させる必要があると主張する。本論文では、入力に応じた特徴量グループに基づく条件付き計算を動的に制御する InterpretCC と、知識グラフを用いた反復的モデル診断を行う I2MD の2つのフレームワークを提案し、設計段階からリアルタイム性、正確性、実行可能性、人間が解釈可能な、一貫性のある説明を保証する。

ABSTRACT

Explainable Artificial Intelligence (XAI) plays a crucial role in enabling human understanding and trust in deep learning systems. As models get larger, more ubiquitous, and pervasive in aspects of daily life, explainability is necessary to minimize adverse effects of model mistakes. Unfortunately, current approaches in human-centric XAI (e.g. predictive tasks in healthcare, education, or personalized ads) tend to rely on a single post-hoc explainer, whereas recent work has identified systematic disagreement between post-hoc explainers when applied to the same instances of underlying black-box models. In this paper, we therefore present a call for action to address the limitations of current state-of-the-art explainers. We propose a shift from post-hoc explainability to designing interpretable neural network architectures. We identify five needs of human-centric XAI (real-time, accurate, actionable, human-interpretable, and consistent) and propose two schemes for interpretable-by-design neural network workflows (adaptive routing with InterpretCC and temporal diagnostics with I2MD). We postulate that the future of human-centric XAI is neither in explaining black-boxes nor in reverting to traditional, interpretable models, but in neural networks that are intrinsically interpretable.

研究の動機と目的

• 人間中心のAIアプリケーションにおける現在の後処理型説明手法の限界に対処する。ここでは、説明がしばしば一貫性がなく、忠実性に欠け、実行可能でないことが問題視される。
• 人間中心のXAIのための5つの核心的要件を特定する：リアルタイム性、信頼性に裏付けられた正確性、実行可能性、人間が解釈可能な説明、一貫性。
• ブラックボックスモデルを説明するのではなく、設計段階から本質的に解釈可能なニューラルネットワークを構築するというパラダイムシフトを提唱する。
• 性能を犠牲にすることなく、実装可能で実用的なワークフローである InterpretCC と I2MD を提案し、モデル開発ライフサイクルに解釈可能性を埋め込む。

提案手法

• InterpretCC はスパarsity正則化を用いた適応的ルーティングにより、各入力に対して最小限で意味のある特徴量グループを動的に選択し、入力に応じた意思決定に基づいてエキスパートサブネットワークにルーティングする。
• 本手法は、モデルの意思決定を特定の特徴量または特徴量グループのサブセットに制限することで、解釈可能性を強制し、説明が実際にモデルの行動を反映していることを保証する。
• InterpretCC はカスタマイズ可能なスパarsity基準をサポートしており、簡単なサンプルでは高い解釈可能性を実現し、複雑なサンプルでは正確性を維持できる。
• I2MD は、学習中のモデルスナップショットから知識グラフを抽出することで反復的診断を実施し、学習段階ごとの比較を通じてモデルの発展を追跡し、顕在化する弱みを特定する。
• 診断ベンチマークを用いて、標的データ拡張やファインチューニングを誘導し、解釈可能性とモデル改善の間のフィードバックループを閉じる。
• 両フレームワークは、追加の推論コストが発生しないように、既存のディープラーニングワークフローにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 後処理型説明手法は、人間中心のXAIの5大要件（リアルタイム性、信頼性に裏付けられた正確性、実行可能性、人間が解釈可能な説明、一貫性）を信頼性を持って満たせるか？
• RQ2 現在の後処理型説明手法は、なぜシステム的不一致と忠実性の欠如により、真のモデル行動を正しく反映できないのか？
• RQ3 性能を損なわず、正確性との妥協なしに、深層学習モデルにおける解釈可能性を保証することは可能か？
• RQ4 知識グラフを用いた反復的モデル診断により、時間経過に伴うモデル発展に対する透明性があり、実行可能なインサイトを得ることは可能か？
• RQ5 どのような設計原則が、高リスク分野の高水準な性能を維持しつつ、ニューラルネットワークを本質的に解釈可能にするのか？

主な発見

• 後処理型説明手法は、異なる手法間で系統的な不一致が生じ、モデル行動への忠実性に欠けるため、本質的に信頼できない。これは、同じブラックボックスモデルと入力に対して適用されても同様に顕在する。
• InterpretCC は、モデルの意思決定を選択された特徴量グループに制限することで、説明の100％の忠実性を保証し、実際にモデルが実行している行動を反映していることを確認できる。
• InterpretCC の適応的ルーティング機構により、入力に応じた動的特徴量選択が可能となり、モデルの正確性を損なわず、解釈可能性が向上する。
• I2MD は、学習の反復的スナップショットから抽出した知識グラフの比較により、開発者がモデルの能力発展を追跡でき、どの段階でどのようなスキルが出現したかを明らかにする。
• 診断ベンチマークを学習ループに統合することで、標的データのキュレーションが可能になり、収束が早期に促進され、モデル性能の向上が早期段階で実現される。
• 本研究で提案するフレームワーク（InterpretCC と I2MD）は、すべての5つの人間中心のXAI要件（リアルタイム性、信頼性に裏付けられた正確性、実行可能性、人間が解釈可能な説明、一貫性）を満たしている。