[論文レビュー] "How do I fool you?": Manipulating User Trust via Misleading Black Box Explanations

Himabindu Lakkaraju, Osbert Bastani|arXiv (Cornell University)|Nov 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 27

ひとこと要約

本稿は、機械学習モデルにおけるユーザーの信頼を操作する高精細で誤解を招くブラックボックス解釈を生成する理論的枠組みと手法を提示する。犯罪裁判の専門家を対象としたユーザースタディを通じて、禁止された特徴量（例：人種、性別）を省略し、望ましい特徴量（例：前科）を含む解釈が、ユーザーが非因果的であると警告されても、信頼度を9.8倍に高めることを示している。

ABSTRACT

As machine learning black boxes are increasingly being deployed in critical domains such as healthcare and criminal justice, there has been a growing emphasis on developing techniques for explaining these black boxes in a human interpretable manner. It has recently become apparent that a high-fidelity explanation of a black box ML model may not accurately reflect the biases in the black box. As a consequence, explanations have the potential to mislead human users into trusting a problematic black box. In this work, we rigorously explore the notion of misleading explanations and how they influence user trust in black-box models. More specifically, we propose a novel theoretical framework for understanding and generating misleading explanations, and carry out a user study with domain experts to demonstrate how these explanations can be used to mislead users. Our work is the first to empirically establish how user trust in black box models can be manipulated via misleading explanations.

研究の動機と目的

• 後から生成される解釈が、バイアスの強いまたは信頼できないモデルに対してユーザーの信頼を欺くことができるかどうか、そしてどのように欺くかを調査すること。
• 特徴量の相関関係や感受性のある属性の省略によって、高精細な解釈でも欺瞞的になる状況を説明する理論的枠組みを構築すること。
• 問題のある特徴量（例：人種、性別）を戦略的に除外しながら望ましい特徴量を含めることで、信頼を操作する解釈を生成する手法を設計すること。
• 犯罪裁判分野のドメインエキスパートを対象とした制御されたユーザースタディを通じて、こうした欺瞞的解釈が信頼に与える影響を実証的に評価すること。
• 複数の視点を提示するインタラクティブな解釈フレームワークを、欺瞞的解釈への感受性を低減する対策として探求すること。

提案手法

• ブラックボックス予測を完璧に再現する高精細な解釈が、欺瞞的である状況を特定する理論的枠組みを提唱する。
• MUSEフレームワークを拡張し、ユーザーが関連性があると感じる特徴量（例：前科）を優先し、ユーザーが問題視する特徴量（例：人種、性別）を除外する解釈を生成する。
• 特徴量の相関関係を活用して、禁止された特徴量（例：郵便番号から人種を再構築）を再構築しながら、解釈からは除外することで、説得力はあるが欺瞞的な解釈を生成する。
• 法曹界および犯罪裁判分野の専門家22名を対象にユーザースタディを実施し、ブラックボックスモデルとその解釈を提示して信頼度を測定する。
• 信頼度は、導入の意思を尋ねるYes/No質問で測定し、信頼の驱动要因を検証するために質的根拠を分析する。
• インタラクティブな解釈ツール（MUSE）を用いたフォローアップスタディを実施し、複数の視点が提供された場合にユーザーの信頼度が低下するかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 高精細で後から生成される解釈は、そうでない場合に信頼できないブラックボックスモデルに対し、ユーザーの信頼を欺くことができるか？
• RQ2 特に犯罪裁判のような感受性の高い分野において、解釈内のどの特徴量がユーザーの信頼に最も強く影響を与えるか？
• RQ3 禁止された特徴量（例：人種、性別）を除外しながらも、高精細を維持し、信頼度を高めることで、解釈を操作できる範囲はどの程度か？
• RQ4 解釈が因果的ではなく相関的であるとユーザーに警告しても、欺瞞的解釈への感受性は低下するか？
• RQ5 複数の視点を提示するインタラクティブな解釈システムは、モデルに対する信頼の操作リスクを低減できるか？

主な発見

• ドメインエキスパートのうち9.1％しかブラックボックスの内部挙動を信頼しなかったため、信頼度の低基準が確立された。
• 人種や性別を省略し、前科や飛行リスクを含む欺瞞的解釈を提示したところ、専門家の88％がブラックボックスを信頼した。これは信頼度が9.8倍に上昇したことを示している。
• 禁止された特徴量（例：人種、性別）を含む解釈は低信頼度（10％）を示し、こうした特徴量の存在が信頼性の低下を引き起こすことが判明した。
• 専門家は、禁止された属性を使用しているモデルであっても、望ましい法的に許容可能な特徴量（例：前回の服役歴）を含む解釈に対して、著しく信頼度が高くなる傾向があった。
• 解釈が因果的ではなく相関的であると明確に警告されたにもかかわらず、88％の参加者が欺瞞的解釈を提示された際にはモデルを信頼した。
• MUSEを用いたインタラクティブな環境では、専門家のうち16.7％しかブラックボックスを信頼しなかった。これは、複数の視点へのアクセスが、操作への感受性を低下させることを示している。