[論文レビュー] Case-Based Reasoning for Assisting Domain Experts in Processing Fraud Alerts of Black-Box Machine Learning Models

Hilde Weerts, Werner van Ipenburg+1 more|arXiv (Cornell University)|Jul 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 5

ひとこと要約

本論文は、特徴量の値ではなく、SHAP説明の類似性に基づいて類似した過去の予測を検索・可視化することで、ブラックボックス型不正検出モデルの信頼性を高めるケースベース推論（CBR）システムを提案する。この手法により、分野専門家が類似した過去の事例がどのようにラベル付けされたかを把握できるようになり、実世界のオランダの大手銀行における不正検知アナリストによる評価で、効果的かつ有用で使いやすいと認められた。

ABSTRACT

In many contexts, it can be useful for domain experts to understand to what extent predictions made by a machine learning model can be trusted. In particular, estimates of trustworthiness can be useful for fraud analysts who process machine learning-generated alerts of fraudulent transactions. In this work, we present a case-based reasoning (CBR) approach that provides evidence on the trustworthiness of a prediction in the form of a visualization of similar previous instances. Different from previous works, we consider similarity of local post-hoc explanations of predictions and show empirically that our visualization can be useful for processing alerts. Furthermore, our approach is perceived useful and easy to use by fraud analysts at a major Dutch bank.

研究の動機と目的

• 複雑なブラックボックス型機械学習モデルが不正検出に使われる際の予測の信頼性を評価するという課題に対処すること。
• 分野専門家が、単なる信頼度スコアや孤立したSHAP説明を超えて、直感的で根拠に基づいた支援を受けるための支援を提供すること。
• 局所的なモデル説明（例：SHAP値）の類似性が、特徴量値に基づく類似性と比較して不正アラート処理にどのように寄与するかを調査すること。
• 実世界の銀行環境において、実務を行う不正アナリストの間で、CBRシステムの実用的価値と使いやすさがどの程度認められるかを評価すること。

提案手法

• 本システムは二段階のCBRアプローチを採用：まず新しい不正アラートに類似した過去の事例をk件検索し、次にその近隣の真のラベルを可視化する。
• 特徴量の値と局所的説明寄与度を組み合わせた、局所的SHAP説明に基づく類似性を測る新しい距離関数を導入。
• 複数の距離関数を評価：特徴量値ベース（dF）、SHAPベース（dS）、局所加重（dL）、その中でdSが優れたパフォーマンスを示した。
• Pythonベースのダッシュボードで実装され、モデルの信頼度、SHAP値、類似事例の動的近傍可視化を表示。
• ユーザー評価には、思考 aloud プロトコルとDavis（1989）のアンケートを用い、不正アナリストによる実用的価値と使いやすさを評価。
• ケースベースは過去の不正アラートから構築され、類似性は局所的説明の一貫性を重視するハイブリッド距離関数を用いて測定。

実験結果

リサーチクエスチョン

• RQ1 特徴量値の類似性と比較して、局所的SHAP説明の類似性が、不正アラート処理のための関連する過去事例の検索にどのように寄与するか。
• RQ2 異なる不正検出データセットにおいて、さまざまな距離関数（dF、dS、dL）のパフォーマンスはどのように変動するか。
• RQ3 実際の銀行環境における分野専門家が、CBRシステムをどれほど有用で使いやすいと感じるか。
• RQ4 過去の事例を、その真のラベルが既知の状態で可視化することで、予測の信頼性を評価するための実用的根拠が得られるか。

主な発見

• SHAPベースの距離関数（dS）は、特徴量値ベース（dF）や局所加重（dL）の関数と比較して、ケース検索および近傍可視化の両面で一貫して優れた性能を示し、特にPhonemeおよびFraud Detectionデータセットで顕著だった。
• Churnデータセットでは、dFとdLがケース検索で最良のパフォーマンスを示したが、dLは近傍可視化において最適であったことから、距離関数選択がデータセットに依存することを示した。
• 4名の不正アナリストを対象とした使いやすさテストでは、高い実用的価値（M = 5.64/7）と使いやすさ（M = 5.96/7）が得られ、ユーザーの高い受容性が示された。
• 言語的プロトコルの分析から、近傍可視化が、特に初期の直感が薄いケースにおいて、アナリストの不正検出ルールに関する直感とモデルの挙動を一致させるのを助けた。
• 検索された近隣の真のラベルがモデルの予測と一致した場合に、システムの有効性が最も顕著に現れ、信頼性の根拠が明確に示された。
• 本研究では、SHAP説明が強くクラスタリング可能であることが示されたことから、今後の研究として、グローバルモデル理解を支援する代表的説明の構築への応用が期待される。