[論文レビュー] Uncertainty-Aware Credit Card Fraud Detection Using Deep Learning

Maryam Habibpour, Hassan Gharoun+8 more|arXiv (Cornell University)|Jul 28, 2021

Imbalanced Data Classification Techniques被引用数 12

ひとこと要約

本論文は、信用リスクの予測不確実性を定量化することでモデルの信頼性を向上させる、3つの不確実性に配慮した深層学習手法——モンテカルロドロップアウト（MCD）、ディープアンサンブル、アンサンブルモンテカルロドロップアウト（EMCD）——を提案する。ディープアンサンブル手法が最も優れた性能を示し、不確実性の正確度が85%に達し、信頼性の低い予測（潜在的な不正取引）を特定するための実用的洞察を提供する。

ABSTRACT

Countless research works of deep neural networks (DNNs) in the task of credit card fraud detection have focused on improving the accuracy of point predictions and mitigating unwanted biases by building different network architectures or learning models. Quantifying uncertainty accompanied by point estimation is essential because it mitigates model unfairness and permits practitioners to develop trustworthy systems which abstain from suboptimal decisions due to low confidence. Explicitly, assessing uncertainties associated with DNNs predictions is critical in real-world card fraud detection settings for characteristic reasons, including (a) fraudsters constantly change their strategies, and accordingly, DNNs encounter observations that are not generated by the same process as the training distribution, (b) owing to the time-consuming process, very few transactions are timely checked by professional experts to update DNNs. Therefore, this study proposes three uncertainty quantification (UQ) techniques named Monte Carlo dropout, ensemble, and ensemble Monte Carlo dropout for card fraud detection applied on transaction data. Moreover, to evaluate the predictive uncertainty estimates, UQ confusion matrix and several performance metrics are utilized. Through experimental results, we show that the ensemble is more effective in capturing uncertainty corresponding to generated predictions. Additionally, we demonstrate that the proposed UQ methods provide extra insight to the point predictions, leading to elevate the fraud prevention process.

研究の動機と目的

• 信用カード不正検出に用いられる深層ニューラルネットワーク（DNN）において、予測の自信の推定が不十分であることが、過信された有害な予測を引き起こすという問題に対処する。
• DNNの予測における不確実性を定量化することで、モデルの解釈性を向上させ、実世界の不正防止システムにおける信頼できる意思決定を支援する。
• MCD、アンサンブル、EMCDの3つの不確実性定量化（UQ）技術の有効性を評価・比較し、信頼性のある信頼度推定を伴う不正取引の検出を目的とする。
• 不正検出における不確実性推定を評価するための特化した新しい評価指標——UAcc、USen、USpe、UPre——を構築・適用する。
• 動的な環境における分布外の取引が発生する状況においても、不確実な予測を不審な取引として特定することで、実務家に実用的洞察を提供する。

提案手法

• 本研究では、テスト時におけるドロップアウトを適用することでモンテカルロドロップアウト（MCD）を実装し、複数回の順方向伝搬によりエピステミック不確実性を推定する。
• 複数の独立したDNNを異なる初期化で学習させることでディープアンサンブルモデルを構築し、モデル間の予測分散を用いて不確実性を推定する。
• アンサンブルモンテカルロドロップアウト（EMCD）は、MCDとアンサンブル平均化を組み合わせ、複数のモデルにわたって推論時にドロップアウトを適用することで、不確実性推定を向上させる。
• 不確実性推定の評価には、エントロピーの閾値に基づいて予測を「確実」または「不確実」と分類するUQ混同行列を用いる。
• さまざまな不確実性閾値（0.1～0.9）における不確実性正確度（UAcc）、不確実性感受性（USen）、特異度（USpe）、および適合率（UPre）といった性能指標を算出する。
• 核密度推定（KDE）プロットを用いて、予測確率とエントロピー値の分布を可視化し、正しい予測と誤分類された予測の間でUQ手法ごとに比較する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウト、ディープアンサンブル、アンサンブルモンテカルロドロップアウトは、信用カード不正検出における不確実性をどれほど効果的に定量化できるか？
• RQ2 不確実性推定は、分布外またはレアな不正事例において、正しい予測と誤った予測を区別するのを支援できるか？
• RQ3 実世界の不正検出システムにおいて、最も信頼性が高く、実用的な不確実性推定を提供するのはどのUQ手法か？
• RQ4 不確実性ベースの指標（UAcc、USen、USpe、UPre）は、さまざまな信頼度閾値でどのように変化するか？また、どの閾値が性能を最適化するか？
• RQ5 不確実性に配慮したモデルは、専門家によるレビューの対象とする低信頼度予測を特定することで、不正防止を改善できるか？

主な発見

• ディープアンサンブル手法が最も高い不確実性正確度（UAcc = 0.85）を達成し、MCD（0.82）およびEMCD（0.84）を上回った（閾値0.4で評価）。
• 誤分類された予測は、正しく分類されたものよりも常に高い不確実性（エントロピー）を示しており、モデルが誤った出力に対して低信頼度を表現できていることを確認した。
• アンサンブル手法は優れた不確実性感受性（USen = 0.67）を示し、誤った予測を効果的に「不確実」として特定できることを示した。
• UAccとUSenが高くても、正例と誤例の不均衡のためUPreは低く（0.32～0.33）保たれ、多くの正しい予測が依然として不確実であることを示唆した。
• 核密度推定プロットにより、不確実な予測はより分散が大きく、特に誤分類群ではエントロピーが高くなることが確認され、不確実性推定の信頼性が裏付けられた。
• UQ混同行列と性能指標から、不確実性推定は点予測を超えた意味のある、実用的な洞察を提供しており、より良い不正防止戦略の実現を可能にした。