[論文レビュー] Machine Explanations and Human Understanding

Chacha Chen, Feng Shi+2 more|arXiv (Cornell University)|Feb 8, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、人間-AI意思決定における機械の説明と人間の理解を結びつける形式的理論枠組みを提案し、説明が人間の理解を向上させられるのは、タスク固有の人間の直感に基づいている場合に限ることを示している。説明は、タスク意思決定や誤りの理解を向上させることができない。主な貢献は、効果的な人間-AI協働のためには人間の直感を明示的にモデル化する必要があることを証明し、制御された人間被験研究を通じて、このような直感が欠如しているとAIへの過剰依存が生じることを検証したことである。

ABSTRACT

Explanations are hypothesized to improve human understanding of machine learning models and achieve a variety of desirable outcomes, ranging from model debugging to enhancing human decision making. However, empirical studies have found mixed and even negative results. An open question, therefore, is under what conditions explanations can improve human understanding and in what way. Using adapted causal diagrams, we provide a formal characterization of the interplay between machine explanations and human understanding, and show how human intuitions play a central role in enabling human understanding. Specifically, we identify three core concepts of interest that cover all existing quantitative measures of understanding in the context of human-AI decision making: task decision boundary, model decision boundary, and model error. Our key result is that without assumptions about task-specific intuitions, explanations may potentially improve human understanding of model decision boundary, but they cannot improve human understanding of task decision boundary or model error. To achieve complementary human-AI performance, we articulate possible ways on how explanations need to work with human intuitions. For instance, human intuitions about the relevance of features (e.g., education is more important than age in predicting a person's income) can be critical in detecting model error. We validate the importance of human intuitions in shaping the outcome of machine explanations with empirical human-subject studies. Overall, our work provides a general framework along with actionable implications for future algorithmic development and empirical experiments of machine explanations.

研究の動機と目的

• 機械の説明が人間の理解を向上させる条件を特定することで、説明に関する矛盾する実証的結果を解消すること。
• 理解の3つの核心的概念の明確化を形式化する：タスク意思決定境界、モデル意思決定境界、およびモデル誤り。
• 人間の直感に関する仮定がなければ、機械の説明はタスクレベルの意思決定や誤り境界の理解を向上させることができないことを示すこと。
• 制御された人間被験を通じて理論的主張を検証すること。具体的には、人間の直感を操作可能な状態で管理したWizard-of-Oz実験を実施すること。
• 研究設計および説明システム開発において、人間の直感を明示的に表現することの重要性を提唱すること。

提案手法

• 人間がタスク／モデル境界を近似的に理解するのと、モデルの説明との関係をモデル化するため、適合された因果ダイアグラムを開発する。
• 干渉（例：モデルの予測を明らかにすること）が人間の理解をどのように変容させるかを表すために、形式的 $\text{show}$ 演算子を導入する。
• タスクの文脈に応じて、理解を2種類に分類する：エミュレーション（モデルを理解する）とディスカバリ（タスクを理解する）。
• 説明が、特徴量の重要性や相関の方向性といった人間の直感と一致している場合に、タスクレベルの意思決定の理解が向上することを提唱する。
• 人間の直感を隔離・制御できるように、Wizard-of-Oz実験設定を採用し、直感が仮定されているグループとされていないグループの間で合意率を比較する。
• 独立および対応t検定を用いて、異なる条件下での人間-AI意思決定の合意率を比較し、説明の整合性と整合性を測定する。

Figure 1 : Illustration of the three core concepts using a binary classification problem. Task decision boundary (dashed line) defines the ground-truth mapping from inputs to labels. Model decision boundary (solid line) defines the model predictions. Model error (highlighted area) represents where t

実験結果

リサーチクエスチョン

• RQ1 機械の説明が機械学習モデルの理解を向上させる条件は何か？
• RQ2 理論的期待とは対照的に、実証的 studies が混合または否定的結果を報告する理由は何か？
• RQ3 タスク固有の人間の直感は、人間-AI意思決定における説明の有効性にどのように影響するか？
• RQ4 人間の直感に関する仮定がなければ、説明はタスク意思決定境界やモデル誤りの理解を向上させられるか？
• RQ5 人間の直感が欠如していると、AI予測への過剰依存がどの程度生じるか？

主な発見

• 人間の直感に関する仮定がなければ、機械の説明はタスク意思決定境界やモデル誤りの理解を向上させることができず、モデル意思決定境界の理解の向上に限られる。
• 匿名グループ（直感なし）では、参加者がAI予測に合意する割合が70.64%にのぼり、直感ありの通常グループ（54.32%）よりも有意に高いことが示され、直感が欠如しているとAIへの過剰依存が生じることを示している。
• 直感が存在する状況では、一貫したペア（AB）では説明に合意する割合が90.71%に達した一方、一貫性のないペア（CD）ではわずか25.00%にとどまり、正しい直感と強い整合性があることが示された。
• 人間の直感と一致する場合、説明の整合性が顕著に向上した：ABペアでは90.71%の合意、EFペアでは22.14%の合意（p値 < 0.001）。
• t検定の結果、異なる条件下での合意率の差が統計的に有意であった（p < 0.001）、直感の役割が説明の有効性に与える影響を検証した。
• 理論枠組みの予測通り、タスク固有の人間の直感がなければ、人間＋AIのパフォーマンスが人間およびAI単独のパフォーマンスを上回る「補完的パフォーマンス」は実現不可能であることが、本研究で確認された。

Figure 2 : Visualizing the relations between local variables, core functions, and human approximations of them.