[論文レビュー] Directive Explanations for Actionable Explainability in Machine Learning Applications

Ronal Singh, Paul Dourish+5 more|arXiv (Cornell University)|Feb 3, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、機械学習意思決定における望ましい結果（例：ローン承認）を達成するための具体的な手順を明示する、実行可能な推奨事項である「指示的説明」を紹介する。オンライン研究により、指示的説明への強い好みが確認された（p < 0.001）。また、状況に応じた人的中心の是正策を重視する、マルコフ意思決定過程（MDP）に基づく概念的モデルを提案している。

ABSTRACT

This paper investigates the prospects of using directive explanations to assist people in achieving recourse of machine learning decisions. Directive explanations list which specific actions an individual needs to take to achieve their desired outcome. If a machine learning model makes a decision that is detrimental to an individual (e.g. denying a loan application), then it needs to both explain why it made that decision and also explain how the individual could obtain their desired outcome (if possible). At present, this is often done using counterfactual explanations, but such explanations generally do not tell individuals how to act. We assert that counterfactual explanations can be improved by explicitly providing people with actions they could use to achieve their desired goal. This paper makes two contributions. First, we present the results of an online study investigating people's perception of directive explanations. Second, we propose a conceptual model to generate such explanations. Our online study showed a significant preference for directive explanations ($p&lt;0.001$). However, the participants' preferred explanation type was affected by multiple factors, such as individual preferences, social factors, and the feasibility of the directives. Our findings highlight the need for a human-centred and context-specific approach for creating directive explanations.

研究の動機と目的

• 指示的説明—望ましい結果を達成するための具体的な行動に関する明確な推奨事項—が、機械学習意思決定におけるユーザーの理解および是正策の質を向上させるかどうかを調査すること。
• 個人の好み、社会的要因、行動の実行可能性が、指示的説明と非指示的説明の選択にどのように影響するかを検討すること。
• 現在の状態から望ましい結果へ至る計画問題として定式化することで、マルコフ意思決定過程（MDPs）に基づく概念的モデルを構築し、指示的説明を生成可能にするものであること。
• 実世界の意思決定文脈（例：ローン承認）において、標準的な反事後的説明と比較して、指示的説明の有効性を評価すること。
• ユーザーが是正策を求める際の行動可能性、個人に合わせたガイダンスを重視する、人的中心的かつ文脈に即した説明可能AIのアプローチを提唱すること。

提案手法

• Amazon MTurkを用いて54名の参加者を対象にオンライン研究を実施し、15のローン意思決定シナリオを用いて、非指示的反事後的説明、指示的具体的（例：「自動車ローンを返済する」）、指示的一般的（例：「合計債務を減らす」）の3種類の説明タイプを比較した。
• 説明タイプの順位付けと質的フィードバックを収集し、ユーザーの認識と推論を評価した。
• 現在の状態から望ましい結果へ至る計画問題として定式化するため、マルコフ意思決定過程（MDPs）に基づく概念的モデルを提案した。
• 訓練済みモデルからの実行可能な入力特徴量を、現実世界の行動にマッピングし、推奨事項が実行可能で文脈的に関連していることを保証した。
• 説明生成プロセスにユーザーの好みと行動コストの考慮を統合し、より関連性の高いパーソナライズ化を実現するための対話型アプローチを提案した。
• 構造的因果モデルと、先行研究（Ustun et al., 2019）におけるフリップ集合（flip sets）を基本的構成要素として用い、生成された指示が望ましい結果を保証するようにした。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、非指示的反事後的説明と比較して、指示的説明をどのように評価するか。特に、好みと有用性の観点から。
• RQ2 個人の好み、社会的文脈、行動の実行可能性といった要因が、指示的具体的説明と指示的一般的説明の間での選択にどのように影響するか。
• RQ3 マルコフ意思決定過程（MDPs）に基づく概念的モデルが、機械学習意思決定における実行可能で文脈に即した是正策の指示を効果的に生成できるか。
• RQ4 ローン承認のような高リスク意思決定において、単なる反事後的状態の記述よりも、明確な行動推奨がどれほど価値があるか。
• RQ5 個人の制約や好みを考慮しながら、実行可能性と正しさを維持するための説明をどのようにパーソナライズできるか。

主な発見

• 非指示的反事後的説明と比較して、指示的説明への統計的に有意な好みが確認された（p < 0.001）。約50％の参加者が指示的具体的説明を選択した。
• 行動が実行可能で個人の状況と整合する場合（例：債務を減らす、ローンを返済する）、参加者は指示的具体的説明を好んだ。
• 特定の行動が費用がかかりすぎたり現実的でないと感じられる場合、ユーザーは行動の選択肢を自分で決めたいという欲求から、指示的一般的説明を好んだ。
• 多くの参加者が、意思決定が好転した場合（例：ローン承認）には説明が価値がないと感じたと述べており、説明の有用性が文脈依存であることが明らかになった。
• 行動のコストと実行可能性の認識がユーザーの好みに影響を与えており、すべてのユーザーに同じ指示が効果的であるとは限らないことが示された。
• 一様な説明タイプでは不十分であることが明らかになった。実世界のAIシステムにおける、適応的でパーソナライズされ、文脈に即した説明生成の必要性が強化された。