[論文レビュー] Challenges and Complexities in Machine Learning based Credit Card Fraud Detection

Gayan K. Kulatilleke|arXiv (Cornell University)|Aug 20, 2022

Imbalanced Data Classification Techniques被引用数 7

ひとこと要約

本稿は、機械学習に基づくクレジットカード不正検知における課題を調査し、データのアンバランス、プライバシー保護技術（例：PCA）の影響、人的アノテーションエラーの影響に焦点を当てる。PCAによるデータの不透明化は、アンバランスなデータセットにおいても分類器の性能を維持することが示されたが、クラスのアンバランスが進行するにつれてモデルの精度が著しく低下する傾向にあり、一様なソリューションではなく、データ駆動型のアプローチが不可欠であることが示された。

ABSTRACT

Credit cards play an exploding role in modern economies. Its popularity and ubiquity have created a fertile ground for fraud, assisted by the cross boarder reach and instantaneous confirmation. While transactions are growing, the fraud percentages are also on the rise as well as the true cost of a dollar fraud. Volume of transactions, uniqueness of frauds and ingenuity of the fraudster are main challenges in detecting frauds. The advent of machine learning, artificial intelligence and big data has opened up new tools in the fight against frauds. Given past transactions, a machine learning algorithm has the ability to 'learn' infinitely complex characteristics in order to identify frauds in real-time, surpassing the best human investigators. However, the developments in fraud detection algorithms has been challenging and slow due the massively unbalanced nature of fraud data, absence of benchmarks and standard evaluation metrics to identify better performing classifiers, lack of sharing and disclosure of research findings and the difficulties in getting access to confidential transaction data for research. This work investigates the properties of typical massively imbalanced fraud data sets, their availability, suitability for research use while exploring the widely varying nature of fraud distributions. Furthermore, we show how human annotation errors compound with machine classification errors. We also carry out experiments to determine the effect of PCA obfuscation (as a means of disseminating sensitive transaction data for research and machine learning) on algorithmic performance of classifiers and show that while PCA does not significantly degrade performance, care should be taken to use the appropriate principle component size (dimensions) to avoid overfitting.

研究の動機と目的

• マス・アンバランスなクレジットカード不正検知データセットの特性と課題を分析すること。
• PCAに基づくデータ不透明化が機械学習分類器の性能に与える影響を評価すること。
• 人的アノテーションエラーが機械学習分類エラーとどのように重複し、悪化するかを調査すること。
• 既存の不正検知データセットの限界と、標準化された評価ベンチマークの欠如を評価すること。

提案手法

• 本研究では、2%および22%の不正率を持つ二次的クレジットカード取引データセットを用い、現実のアンバランス状況を再現する。
• 主成分分析（PCA）を用いて、研究用途での利用を前提に、機微な取引データを不透明化しつつも、元のパターンを保持する。
• 15種類の機械学習分類器（例：ロジスティック回帰、ランダムフォレスト、SVM）を、元データおよびPCAエンコード済みデータ上で学習・評価する。
• F1スコアと幾何平均（g-mean）を用いて性能を測定し、次元数の影響が分類器の精度に与える影響を分析する。
• F1スコアとg-meanスコアの相関関係を検討し、これらが独立した評価指標として機能するかを評価する。
• 特に2%未満の不正率における増加するデータのアンバランスに伴うモデル性能の低下を評価する。

実験結果

リサーチクエスチョン

• RQ1 PCAによる不透明化は、アンバランスなデータセット上でのクレジットカード不正検知における機械学習分類器の性能にどのように影響するか？
• RQ2 特に2%未満の不正率におけるデータのアンバランスは、不正検知モデルの学習能力にどの程度影響を及えるか？
• RQ3 人的アノテーションエラーは、不正検知において機械学習分類エラーとどのように相互作用し、悪化を引き起こすか？
• RQ4 カード決済が世界的に普及しているにもかかわらず、なぜクレジットカード不正検知データの標準化されたベンチマークやコーパスが存在しないのか？
• RQ5 PCAは、モデル性能を著しく低下させることなく、機微な取引データを共有する有効な手法として利用可能か？

主な発見

• PCAによる不透明化は、多くの二値分類器について、アンバランスな不正検知データセット上での性能を顕著に低下させない。これは、重要な情報が保持されていることを示唆する。
• 複数の分類器において、F1スコアとg-mean値が、元データとPCAエンコード済みデータの間でほとんど一貫しており、情報保持が有効に行われていることが示された。
• 性能を維持するための最適な主成分の数は約15次元にピークを示し、この値を超えると過学習のため性能が低下することが観察された。
• データのアンバランスが進行する（特に2%未満の不正率）につれて、学習性能が著しく低下する傾向にあり、極端な偏りが主要な課題であることが示された。
• F1スコアとg-meanスコアにはほとんど相関が見られず、これらが独立した評価指標として機能することが示唆され、両方を併用して評価すべきである。
• 人的アノテーションエラーは、機械学習エラーと重複し、特に低不正率の環境下で検知精度をさらに低下させる。