[論文レビュー] Weight of Evidence as a Basis for Human-Oriented Explanations

David Alvarez-Melis, Hal Daumé+2 more|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 8

ひとこと要約

本稿では、情報理論的コンセプトである証拠の重み（WoE）に基づく人間指向の説明フレームワークを提案する。このフレームワークは、人間の説明に観察される対比的・選択的・蓄積的推論を形式化する。説明を条件付きに重み付けされた証拠の系列としてモデル化することで、直感的で確率論的に根拠のある説明を生成し、解釈可能性と認知的整合性において、標準的なサリエンシーまたはアトリビューション手法を凌駕する。

ABSTRACT

Interpretability is an elusive but highly sought-after characteristic of modern machine learning methods. Recent work has focused on interpretability via $ extit{explanations}$, which justify individual model predictions. In this work, we take a step towards reconciling machine explanations with those that humans produce and prefer by taking inspiration from the study of explanation in philosophy, cognitive science, and the social sciences. We identify key aspects in which these human explanations differ from current machine explanations, distill them into a list of desiderata, and formalize them into a framework via the notion of $ extit{weight of evidence}$ from information theory. Finally, we instantiate this framework in two simple applications and show it produces intuitive and comprehensible explanations.

研究の動機と目的

• 哲学、認知科学、社会科学から得られる核心的原則を特定することで、機械生成説明と人間の推論のギャップを埋めること。
• 人間の説明の望ましい特性—対比性、選択性、蓄積的構造—を数学的に根拠づいたフレームワークに形式化すること。
• 高次元で複雑なモデルに対応する汎用的説明手法を開発し、人間の認知的好みに整合させること。
• 証拠の重み（WoE）が、直感的で確率的に整合性のある説明を生成する理論的・実用的に有効な基盤を提供できることを示すこと。

提案手法

• 人間の説明の原則を望ましい特性として形式化：対比性（代替案との比較）、選択性（少数の特徴）、蓄積的構造（段階的推論）。
• 情報理論における証拠の重み（WoE）をコアな数学的基盤として採用し、その定義は1つの仮説に対する証拠のオッズ比の対数である。
• 条件付きおよび階層的形態へのWoEの拡張により、入力特徴の部分集合を用いた複数ステップで順序付けられた説明を可能にする。
• 対照的セット（クラス）と最大の正則化WoEを持つ特徴部分集合を再帰的に選択するメタアルゴリズム（アルゴリズム1）を提案。
• 特徴集合のサイズとバランスを取るために正則化項R(U)を用いる。
• モデルがブラックボックスの場合、訓練データとオラクルクエリを用いて、条件付き密度推定（例：マスク付き自己回帰フロー）によりWoEスコアを推定する。

実験結果

リサーチクエスチョン

• RQ1 機械による説明を、推論および説明構造において人間の認知的好みにどのように適合させられるか？
• RQ2 人間の説明の対比的・選択的・蓄積的性質を最もよく捉える数学的フレームワークは何か？
• RQ3 情報理論の証拠の重み（WoE）は、複雑なモデルにおいて人間が理解可能な説明を生成するための原理的基盤として適しているか？
• RQ4 WoEは、高次元かつ多クラス設定における階層的・複数ステップの説明をどのように拡張できるか？
• RQ5 WoEベースの説明は、標準的なサリエンシーまたはアトリビューション手法と比較して、解釈可能性がどの程度向上するか？

主な発見

• 提案されたWoEベースのフレームワークは、対比的推論（例：『気管支炎より肺炎の可能性が高い』）や反事後的推論、特徴の選択的焦点を反映した説明を効果的に生成する。
• 証拠を条件付きに重み付けされた寄与に分解することで、段階的かつ蓄積的な説明が得られ、人間の推論様式を模倣する。
• 特徴を意味のある属性集合（例：MNISTにおける7×7ピクセルブロック）に分割することで、高次元入力に対してもスケーラブルな説明生成が可能になる。
• MNISTにおける実験評価では、モデルがブラックボックスであっても、一貫性があり直感的な説明が生成され、人間の期待と整合することが示された。
• 自己回帰的密度モデルを用いた条件付きWoEにより、モデルの内部構造を必要とせずに、証拠の重みを正確に推定できる。
• メタアルゴリズムにおける正則化項は、説明のスパarsityを効果的に制御し、極端な特徴部分集合への過剰適合を防ぐ。