[論文レビュー] Understanding Consumer Preferences for Explanations Generated by XAI Algorithms

Yanou Ramon, Tom Vermeire+3 more|arXiv (Cornell University)|Jul 6, 2021

Explainable Artificial Intelligence (XAI)参考文献 64被引用数 7

ひとこと要約

本研究では、オンライン広告とローン申請の2つの文脈において、選択ベースのコンジョイント分析を用いて、説明可能AI（XAI）アルゴリズムが生成する説明の消費者の好みを調査した。その結果、反事後的説明は否定的結果の後でのみ好まれ、ユーザーは中程度の複雑さを許容し、具体的さの好みは認知的スタイルと意思決定の構成レベルに依存する——反事後的説明の普遍的受容という仮定に挑戦するものである。

ABSTRACT

Explaining firm decisions made by algorithms in customer-facing applications is increasingly required by regulators and expected by customers. While the emerging field of Explainable Artificial Intelligence (XAI) has mainly focused on developing algorithms that generate such explanations, there has not yet been sufficient consideration of customers' preferences for various types and formats of explanations. We discuss theoretically and study empirically people's preferences for explanations of algorithmic decisions. We focus on three main attributes that describe automatically-generated explanations from existing XAI algorithms (format, complexity, and specificity), and capture differences across contexts (online targeted advertising vs. loan applications) as well as heterogeneity in users' cognitive styles. Despite their popularity among academics, we find that counterfactual explanations are not popular among users, unless they follow a negative outcome (e.g., loan application was denied). We also find that users are willing to tolerate some complexity in explanations. Finally, our results suggest that preferences for specific (vs. more abstract) explanations are related to the level at which the decision is construed by the user, and to the deliberateness of the user's cognitive style.

研究の動機と目的

• 実世界の意思決定文脈における消費者が異なる種類のアルゴリズム的説明をどのように好むかを理解すること。
• 説明形式、複雑さ、具体性がユーザーの好みに与える影響を検討すること。
• 文脈（例：高リスク対低リスク意思決定）および個人差（例：認知的スタイル）がXAI説明の好みに与える影響を調査すること。
• XAI研究における説明形式の有効性や望ましさに関する仮定を、実証的に検証すること。

提案手法

• 研究1（広告）では2,592組のペアワイズ比較、研究2（ローン申請）では5,760組のペアワイズ比較を用いた選択ベースのコンジョイント分析（CBC）を実施した。
• 3つの主要な属性を操作した：説明形式（反事後的対特徴重要度）、複雑さ（低対中程度）、特徴の具体性（低レベル対高レベルの特徴）。
• 個人差の多様性を反映するため、階層ベイズ（HB）モデルにマルコフ連鎖モンテカルロ（MCMC）推定法を適用し、パーツワースユーティリティを推定した。
• 思考の熟考性を測るため、認知的反復テスト（CRT）スコアを用い、認知的スタイルが説明好みに与える調節効果を分析した。
• カテゴリカル属性にはエフェクトコーディングを適用し、モデル係数の事前分布には非情報的正規分布を設定した（デフォルトの分散および自由度を採用）。
• モデルは20,000回のMCMCサンプリングを実行し、推論には最後の5,000回のサンプルを用い、収束したサンプルから95％信用区間を計算した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの説明形式（反事後的対特徴重要度）に対する好みは、異なる意思決定文脈でどのように変化するか？
• RQ2 説明の複雑さはユーザーの好みにどの程度影響を及ぼし、許容しうる閾値は存在するか？
• RQ3 説明における特徴の具体性（低レベル対高レベル）はユーザーの好みにどのように影響を及ぼし、これは意思決定文脈に依存するか？
• RQ4 CRTで測定される認知的スタイルの個人差は、説明属性に対する好みにどのように調節効果を示すか？
• RQ5 意思決定の構成レベル（例：具体的対抽象的）は、具体性と好みの関係を媒介するか？

主な発見

• 反事後的説明は全体的に好まれなかったが、高リスクで否定的結果（例：ローン拒否）の文脈では顕著に好まれ、最も価値のある形式となった。
• ユーザーは説明の複雑さに対して中程度の複雑さを許容する傾向を示した。ローン申請の文脈では、中程度複雑な説明のパーツワースユーティリティが低複雑さのものよりも高かった。
• 高リスクで否定的結果の文脈では、高レベルの特徴具体性（例：'スポーツ' ではなく 'ESPN.comを訪問した'）が強く好まれ、パーツワースユーティリティは0.661（95％信頼区間：[0.517, 0.821]）であり、抽象的・高レベルの特徴に対する顕著な好みを示した。
• 一方、低リスクの文脈では低レベルの具体性（例：特定のウェブサイト）が好まれ、ターゲティング広告の文脈でパーツワースユーティリティは0.499（95％信頼区間：[0.375, 0.654]）であった。
• CRTスコアで測定された認知的スタイルは、具体性好みの調節に寄与した。熟考性の高い個人は、高リスク文脈で高レベル・抽象的説明をより好んだ。
• 具体性好みは一様ではなかった。ユーザーが意思決定をどの程度抽象的レベルで捉えているかが強く影響しており、抽象的レベルで捉えるユーザーは抽象的説明を好み、具体的レベルで捉えるユーザーは具体的な説明を好んだ。