[論文レビュー] Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier.

Courtney Ford, Eoin M. Kenny+1 more|arXiv (Cornell University)|Sep 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 5

ひとこと要約

本研究では、MNISTの数字画像に対するブラックボックス型ディープラーニング分類器の予測について、後処理的で例に基づく説明と誤り率が人間の認識に与える影響を調査している。ANN-CBRツインシステムを用いて類似するトレーニング例を検索して予測を説明する手法を採用したが、その結果、このような説明は誤分類の正しさを高めて認識させる一方、誤り率が約4％を超えると、信頼性、妥当性、および認識された正しさが顕著に低下することが分かった。

ABSTRACT

The IJCAI-20 Workshop on Explainable AI (XAI), Online Conference, 8 January 2021

研究の動機と目的

• 後処理的で例に基づく説明がブラックボックス型ディープラーニング分類器に対する人間の認識に与える心理的影響を評価すること。
• 誤り率を変化させた場合、ユーザーの信頼性、正しさの判断、妥当性の認識にどのような影響を与えるかを検討すること。
• ANN-CBRツインシステムがディープニューラルネットワークの予測に対して直感的でケースベースの説明を生成する有効性を評価すること。
• 現実のデバッグ文脈において人間の反応をテストすることで、XAIに対する実証的妥当性を提供すること。

提案手法

• MNISTデータセット上のトレーニング済みのCNNからの予測を説明するために、ANN-CBRツインシステムを実装した。
• 特徴量の重み付け手法を用いてCNNから顕著な特徴を抽出し、それらをMNISTデータセット上のk-NN検索にマッピングして関連性のある類似トレーニング例を取得した。
• 参加者には、正しく分類されたものと誤って分類されたもの、説明あり・なしの両方のMNIST画像分類例が提示された。
• 参加者は、正しさ、妥当性、信頼性、満足度の各項目について、標準化されたアンケートで各予測を評価した。
• 説明の有無と分類器の誤り率（約1％から約10％）を変化させた2つのユーザースタディ（N=349）を実施した。
• 混合研究手法を用い、定量的評価と定性的な知見を組み合わせ、ローカル・グローバル評価フレームワークに従った。

実験結果

リサーチクエスチョン

• RQ1 後処理的で例に基づく説明は、誤分類されたMNISTの数字画像に対するユーザーの正しさの認識にどのように影響するか？
• RQ2 誤り率が上昇することで、ユーザーの信頼性、妥当性、および認識された正しさにどのような影響を与えるか？
• RQ3 ケースベースの説明は、モデルの誤りに対する否定的認識をどの程度緩和できるか？
• RQ4 誤り率が低い場合と高い場合とで、ユーザーは説明をより信頼すると感じるか？

主な発見

• 後処理的で例に基づく説明は、参加者が誤分類を実際に正しくないと認識しているにもかかわらず、正しさを高めて評価する傾向を示した。これは、説明された誤りに対する認知バイアスを示している。
• 誤り率が約4％を超えた場合、参加者の分類器に対する信頼性が顕著に低下し、正しさ、妥当性、信頼性の認識が低下した。
• ケースベースの説明が存在することで、正しく分類された予測および誤って分類された予測の両方に対して、認識された正しさが向上した。これは、説明が誤った信頼性の錯覚を生み出す可能性があることを示している。
• 誤り率が約4％を超えると、参加者の信頼性と満足度が急激に低下した。これは、ユーザー受容性に閾値効果が存在することを示している。
• 本研究では、説明だけでは高い誤り率を補うことはできず、誤り率はユーザーの信頼性とシステム認識において重要な要因であることが確認された。
• 結果から、説明の質とモデルの信頼性を併せ持つことが、実世界でのXAI実装に成功するための鍵であることが強調された。