[論文レビュー] On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods

Kasun Amarasinghe, Kit T. Rodolfa+7 more|arXiv (Cornell University)|Jun 24, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本論文は、実際の電子商取引における不正検出における、後向き解釈可能機械学習（XAI）手法のきめ細やかな応用に基づいた評価を提示している。ドメインエキスパート、実データ、運用指標を用いて評価した結果、説明の追加効用はモデルスコア単体のものと差がなく、以前の結論とは対照的である。これは、実験設計の欠陥に起因するものであり、実世界の導入において文脈に配慮した評価フレームワークの必要性を示唆している。

ABSTRACT

Most existing evaluations of explainable machine learning (ML) methods rely on simplifying assumptions or proxies that do not reflect real-world use cases; the handful of more robust evaluations on real-world settings have shortcomings in their design, resulting in limited conclusions of methods' real-world utility. In this work, we seek to bridge this gap by conducting a study that evaluates three popular explainable ML methods in a setting consistent with the intended deployment context. We build on a previous study on e-commerce fraud detection and make crucial modifications to its setup relaxing the simplifying assumptions made in the original work that departed from the deployment context. In doing so, we draw drastically different conclusions from the earlier work and find no evidence for the incremental utility of the tested methods in the task. Our results highlight how seemingly trivial experimental design choices can yield misleading conclusions, with lessons about the necessity of not only evaluating explainable ML methods using tasks, data, users, and metrics grounded in the intended deployment contexts but also developing methods tailored to specific applications. In addition, we believe the design of this experiment can serve as a template for future study designs evaluating explainable ML methods in other real-world contexts.

研究の動機と目的

• 実世界の導入状況を反映する現実的で応用に基づいた実験設計を用いた、解釈可能機械学習手法の評価におけるギャップを埋める。
• 簡素化された仮定、代理タスク、非エキスパートユーザーに依存する過去の評価の妥当性に疑問を呈する。これらは、手法の有用性に関する誤った結論を導く可能性がある。
• 評価指標、ユーザーの専門性、タスクの忠実度といった実験設計の選択が、XAI手法の有効性に関する結論に顕著に影響することを示す。
• 誤差行列に基づく指標や自己報告による指標ではなく、運用上の目的を優先する評価フレームワークの推進を提唱する。
• 不正検出を越える実世界の応用における将来的なXAI評価のための再現可能な実験テンプレートを提供する。

提案手法

• 実際の導入状況から逸脱する簡素化された仮定を排除するように、以前の不正検出研究（Jesus et al., 2021）を再設計する。
• 実際の電子商取引取引データと、実際の意思決定タスクに従事するプロフェッショナルな不正検出アナリスト（ドメインエキスパート）を用いる。
• 制御された被験内デザインの下で、LIME、SHAP、LRPという3つの後向き説明手法に加え、モデルスコアを組み合わせて実装する。
• 誤差行列に基づく指標ではなく、実際のビジネス目標を反映する運用指標（例：検出率の確率（PDR））を用いて性能を測定する。
• 意思決定の速度、意思決定率、正確性といった行動データを収集し、説明の実世界への影響を評価する。
• フォローアップインタビューを実施し、ユーザーの認識を評価し、フィードバックループや時間経過に伴う学習の限界を同定する。

実験結果

リサーチクエスチョン

• RQ1 後向き説明手法は、モデルスコア単体と比較して、不正検出アナリストの意思決定の正確性および運用上のパフォーマンスをどの程度向上させるか？
• RQ2 ユーザーの専門性、タスクの忠実度、指標選定といった実験設計の選択が、解釈可能機械学習手法の有用性に関する結論にどのように影響するか？
• RQ3 説明に対する自己報告の自信は、実世界の意思決定タスクにおける実際のパフォーマンス向上と相関するか？
• RQ4 実運用環境において、説明は意思決定時間を短縮したり検出率を向上させたりするか、それとも非効率をもたらすか？
• RQ5 誤差行列のような非運用指標と、PDRのようなビジネス関連指標を用いたXAI手法の評価において、どのような意味合いの違いがあるか？

主な発見

• テストされた後向き説明手法（LIME、SHAP、LRP）は、ビジネス上の有用性を反映する主要な運用指標である検出率の確率（PDR）において、いかなる追加的改善も示さなかった。
• アナリストは、説明を提示された場合、モデルスコア単体の場合と比較して顕著に遅くなった。これは、業務効率に悪影響を及えたことを示している。
• 高水準の自己報告の自信にもかかわらず、意思決定率や客観的指標におけるパフォーマンスに差は認められなかった。
• 本研究の結論は、類似手法を用いてパフォーマンス向上を報告した先行研究（Jesus et al., 2021）とは著しく対照的であり、これは以前の設定に深刻な設計上の欠陥があったためである。
• 実際のユーザー、実データ、運用に基づいた指標を用いた実験設計の変更により、過去の評価とは根本的に異なる結論が得られた。
• 一般向けの後向き説明手法が、不正検出のような高リスクの実世界環境では効果を発揮しない可能性があることが示唆され、応用分野に特化した手法開発の必要性が浮き彫りになった。