[論文レビュー] Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach

Utkarsh Porwal, Smruthi Mukund|arXiv (Cornell University)|Nov 6, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用数 13

ひとこと要約

本論文は、複数回のk-means実行を通じて各データポイントに一貫性スコアを割り当てることで、異常値検出を行うアンサンブルクラスタリングベースの手法を提案する。この手法は、正当な行動が時間経過とともに空間的に一貫性を保つという仮説に基づいている。実世界およびUCIのデータセットにおいて、ベースラインを上回る性能を示し、不正検出におけるクラス不均衡の影響を考慮すると、AUPRCがAUROCよりも優れた評価指標であることが示された。

ABSTRACT

Often the challenge associated with tasks like fraud and spam detection is the lack of all likely patterns needed to train suitable supervised learning models. This problem accentuates when the fraudulent patterns are not only scarce, they also change over time. Change in fraudulent pattern is because fraudsters continue to innovate novel ways to circumvent measures put in place to prevent fraud. Limited data and continuously changing patterns makes learning significantly difficult. We hypothesize that good behavior does not change with time and data points representing good behavior have consistent spatial signature under different groupings. Based on this hypothesis we are proposing an approach that detects outliers in large data sets by assigning a consistency score to each data point using an ensemble of clustering methods. Our main contribution is proposing a novel method that can detect outliers in large datasets and is robust to changing patterns. We also argue that area under the ROC curve, although a commonly used metric to evaluate outlier detection methods is not the right metric. Since outlier detection problems have a skewed distribution of classes, precision-recall curves are better suited because precision compares false positives to true positives (outliers) rather than true negatives (inliers) and therefore is not affected by the problem of class imbalance. We show empirically that area under the precision-recall curve is a better than ROC as an evaluation metric. The proposed approach is tested on the modified version of the Landsat satellite dataset, the modified version of the ann-thyroid dataset and a large real world credit card fraud detection dataset available through Kaggle where we show significant improvement over the baseline methods.

研究の動機と目的

• ラベル付きデータが限られ、クラス不均衡が著しい状況下でも、進化するクレジットカード不正のパターンを検出する課題に対処すること。
• 事前に異常値や正常値の知識が不要な、強固でスケーラブルな異常値検出手法を開発すること。
• 複数回のクラスタリング実行における空間的クラスタリングパターンの一貫性が、正規（インライヤー）行動を特定できることを示すこと。
• 不均衡なデータセットにおける異常値検出タスクにおいて、PR曲線とAUPRCがROC/AUROCよりも適切な評価指標であると主張すること。
• 実世界およびベンチマークデータセットを用いて手法の有効性を検証し、ベースライン手法に比べ顕著な性能向上を示すこと。

提案手法

• 本手法は、異なるk値を用いたk-meansクラスタリングのアンサンブルを用い、各データポイントに対して複数のクラスタ割り当てを生成する。
• 各データポイントは、各クラスタリング実行における重心からの距離の重み付き平均に基づいて一貫性スコアが割り当てられ、重みはクラスタサイズに比例する。
• 一貫性スコアは、データポイントの位置が異なるクラスタリング結果においてどれほど安定しているかを反映し、低スコアのデータポイントは潜在的な異常値を示す。
• 本手法は汎用的であり、k-meansに限らず、各ポイントが特徴空間内のベクトルとして表されるクラスタリングアルゴリズムに適用可能である。
• 本手法はスケーラブルかつ分散処理が可能であり、大規模なeコマース不正検出システムに適している。
• 本論文では、評価にAUPRC（精度再現率曲線下の面積）をAUROCよりも用いるべきだと主張し、不均衡なデータにおける性能をより適切に反映すると説明している。

実験結果

リサーチクエスチョン

• RQ1 多次にわたるクラスタリング実行において、空間的クラスタリングパターンの一貫性が、高次元かつ時間的に変化するデータにおいて、正規（インライヤー）行動を信頼性高く特定できるか？
• RQ2 提示されたアンサンブルクラスタリングベースの一貫性スコアリング手法は、実世界およびベンチマークデータセットにおいて、従来の異常値検出ベースラインと比較してどのように性能を発揮するか？
• RQ3 不均衡な不正検出シナリオにおける異常値検出において、AUPRCはAUROCよりも適切な評価指標であるか？
• RQ4 実際の不正調査ワークフローにおいて、高い再現率を維持しつつ、誤検出（ファルスポジティブ）をどれほど低減できるか？
• RQ5 本手法は、高信頼性のインライヤーを的確に特定し、ワンクラス新奇性検出モデルのためのクリーンな学習セットを構築できるか？

主な発見

• Kaggleのクレジットカード不正検出データセットにおいて、しきい値0.5を用いた場合、精度0.1で再現率0.4を達成し、全284,807件のうち2,000件の高優先度サンプルを調査するだけで、40％の不正取引を検出可能であった。
• 一貫性しきい値0.5を用いた場合、139,220件の真の負例（正当な取引）を特定し、誤検出はたった29件にとどまり、インライヤーの特定において高い精度を示した。
• 本手法は、変更を加えたLandsatおよびann-thyroidデータセット、および実世界のクレジットカード不正検出データセットにおいて、ベースライン手法を顕著に上回った。
• 本研究では、実験的にAUPRCが、特に高精度要件の場面においてクラス不均衡に敏感でないため、AUPRCがAUPRCよりも優れた評価指標であることが示された。
• 本手法は、高一貫性のデータポイントを的確に特定し、それらは主に真の負例であった。これにより、新奇性検出システムのためのクリーンな学習セットの構築が可能となった。
• 本手法はスケーラブルかつ汎用的であり、分散処理が可能で、k-meansに限らず、さまざまなクラスタリングアルゴリズムへも容易に適応可能である。