[論文レビュー] Harnessing Explanations to Bridge AI and Humans

Vivian Lai, Samuel Carton+1 more|arXiv (Cornell University)|Mar 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 6

ひとこと要約

本稿では、現在のAI解釈が、モデルの解釈と人間の認知的モデルとの不一致のため、人間の意思決定を改善しないと主張している。本稿は、2つの主要な研究方向性を提案する：モデル駆動のチュートリアルによる人間の理解の強化と、インタラクティブな解釈による支援、および人間の認知に適合するように解釈を再設計すること。具体的には、自然言語や例示ベースのフォーマットを用いることで、モデル意思決定の批判的吟味を可能にする。

ABSTRACT

Machine learning models are increasingly integrated into societally critical applications such as recidivism prediction and medical diagnosis, thanks to their superior predictive power. In these applications, however, full automation is often not desired due to ethical and legal concerns. The research community has thus ventured into developing interpretable methods that explain machine predictions. While these explanations are meant to assist humans in understanding machine predictions and thereby allowing humans to make better decisions, this hypothesis is not supported in many recent studies. To improve human decision-making with AI assistance, we propose future directions for closing the gap between the efficacy of explanations and improvement in human performance.

研究の動機と目的

• 再犯予測や医療診断などの人的介入が重要な分野において、AIの解釈が人間の意思決定の正確性を向上させないという継続的な失敗に対処すること。
• 特徴の寄与度といった既存の解釈手法が理論的には有望であるものの、なぜ一貫して人間のパフォーマンスを向上させないのかを調査すること。
• 人間の認知的モデルと整合するようにAIの解釈を再設計することで、より効果的な人間の監視と意思決定の吟味を可能にする新しい研究方向性を提案すること。
• 解釈の最適化をモデルの忠実度に焦点を当てるのではなく、人間の理解、推論、信頼に焦点を当てるべきであることを提唱すること。
• 特徴の寄与度が人間の監視を支援できない場合に、より効果的である可能性のある代替解釈形式（例：自然言語、例示ベース）を検討すること。

提案手法

• AIモデルが学習した直感に反するパターンを教えるモデル駆動のチュートリアルを提案し、特に人間が強い直感を持たないタスクにおいて有効であるようにすること。
• ユーザーが入力を変更し、モデルの予測の変化を観察できるインタラクティブな解釈を導入することで、能動的学習とモデル理解の深化を促進すること。
• 分布シフト下でのモデル一般化の評価を提唱し、人間がモデルが見逃した偶然的相関を検出・是正できることを活かすこと。
• 静的な特徴の重要度から、人間の推論と意思決定の根拠を反映する動的でコミュニケーション指向のツールへの解釈設計の転換を提唱すること。
• 特徴の寄与度が人間の監視を支援できない場合に、自然言語や例示ベースの解釈といった代替フォーマットを検討すること。
• 解釈を静的な診断ではなく、既知のモデル誤りに応じたモデル批判のためのツールとして再定義することで、反復的学習と改善を支援すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ理論的には価値があるにもかかわらず、高リスク分野において現在のAI解釈は人間の意思決定の正確性を向上させないのか？
• RQ2 人間の認知的モデルとモデルの解釈との不一致が、効果的な人間-AI協働をどの程度妨げているのか？
• RQ3 インタラクティブまたはチュートリアルベースの解釈システムは、複雑で直感に反するモデル行動の理解を人間が向上させられるか？
• RQ4 解釈をどのように再設計すれば、特に発見的タスクにおいて人間の推論プロセスと整合させられるか？
• RQ5 自然言語や例示といった代替解釈フォーマットは、特徴の寄与度に比べて、人間の監視と批判的判断をどの程度効果的に支援するか？

主な発見

• 特徴の寄与度のような既存の解釈手法は、モデル性能が人間のベースラインを上回っている場合でさえ、一貫して人間の意思決定の正確性を向上させない。
• 解釈は誤検出（ファルス・ポジティブ）を減らす傾向があるが、誤漏れ（ファルス・ネガティブ）を増加させる傾向があるため、ユーザーは誤った予測の拒否には長けているが、見逃された事例の検出には不十分であると考えられる。
• 発見的タスクでは、人間が単純な解釈に対して強い直感を持たないことが多く、訓練や代替解釈フォーマットの導入が不可欠である。
• モデルの解釈は頻繁に人間の認知的モデルと不一致しており、これが効果的な人間-AI協働の根本的障壁を形成している。
• 入力の操作を伴う能動的学習を支援する解釈（例：インタラクティブな入力変更）は、静的で受動的な解釈よりも、モデル理解の深化を図ることができる。
• 解釈設計をモデルの忠実度から人間中心のコミュニケーションへ転換する必要があり、人間の推論と意思決定プロセスの知見を統合する必要がある。