[論文レビュー] Fraud Dataset Benchmark and Applications

Prince Grover, Julia Xu+6 more|arXiv (Cornell University)|Aug 30, 2022

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本稿では、カードを使用しない取引、ボット攻撃、悪意あるURL、ローン返済不能、コンテンツモデレーションをカバーする、公開利用可能な不正検出データセットの標準化されたコレクションである Fraud Dataset Benchmark (FDB) を紹介する。FDB は、一貫した Python API を提供し、学習/テスト分割を事前に定義することで、クラス不均衡、高基数特徴量、敵対的パターンの変化といった主な課題を想定した不正検出手法の体系的評価を可能にする。実験結果から、三重学習（tri-training）およびハイブリッド自己学習（hybrid self-training）アプローチがベースラインを上回ることが示された。

ABSTRACT

Standardized datasets and benchmarks have spurred innovations in computer vision, natural language processing, multi-modal and tabular settings. We note that, as compared to other well researched fields, fraud detection has unique challenges: high-class imbalance, diverse feature types, frequently changing fraud patterns, and adversarial nature of the problem. Due to these, the modeling approaches evaluated on datasets from other research fields may not work well for the fraud detection. In this paper, we introduce Fraud Dataset Benchmark (FDB), a compilation of publicly available datasets catered to fraud detection FDB comprises variety of fraud related tasks, ranging from identifying fraudulent card-not-present transactions, detecting bot attacks, classifying malicious URLs, estimating risk of loan default to content moderation. The Python based library for FDB provides a consistent API for data loading with standardized training and testing splits. We demonstrate several applications of FDB that are of broad interest for fraud detection, including feature engineering, comparison of supervised learning algorithms, label noise removal, class-imbalance treatment and semi-supervised learning. We hope that FDB provides a common playground for researchers and practitioners in the fraud detection domain to develop robust and customized machine learning techniques targeting various fraud use cases.

研究の動機と目的

• 不正検出に特化した標準化された公開ベンチマークの不足に応えること。不正検出は極端なクラス不均衡や敵対的行動といった独自の課題を有する。
• 特許または機密データに依存せずに、研究者および実務家が不正検出モデルを評価・比較できる統一的で再現可能なプラットフォームを提供すること。
• 多様で現実世界の不正検出ユースケースを提供することで、一貫したデータ分割と特徴量名の標準化を実現し、耐性があり汎用性の高い機械学習技術の開発を支援すること。
• ラベルノイズ除去、クラス不均衡緩和、半教師あり学習といった重要な不正検出アプリケーション分野における研究を促進すること。

提案手法

• Kaggle、UCI、OpenML などのソースから、取引不正、ボット検出、信用リスクをカバーする 9 種類の公開利用可能な二値分類データセットを収集した。
• Pandas DataFrame にデータを読み込むための一貫した API を備えた Python ライブラリを実装し、自動的な学習/テスト分割の生成と一貫した特徴量名の命名を実現した。
• データサンプリング、AutoML フレームワーク用のダミー変数生成、scikit-learn、XGBoost、CatBoost などの一般的な機械学習ライブラリとの統合をサポートする。
• 4 つの主要な応用分野を評価した：従来の機械学習および AutoML を用いた教師あり学習、ラベルノイズ検出、クラス不均衡対策、自己学習および三重学習を用いた半教師あり学習。
• 半教師あり学習は、自己学習、三重学習、VIME を用いてテストし、自己学習ステップからの特徴抽出とフルフレームワークの比較をアブレーションスタディで行った。
• 7 つのデータセットで、5% から 50% のラベル付率（4 段階）を想定し、AUC を指標として性能を測定し、各データセットおよびラベル付率ごとに順位付けを行った。

実験結果

リサーチクエスチョン

• RQ1 一貫したデータ分割と特徴量規約を採用した標準化された不正検出データセットにおいて、さまざまな教師あり学習アルゴリズムの性能はどのようになるか？
• RQ2 極端なクラス不均衡を示す現実世界の不正検出データセットにおいて、ラベルノイズ検出技術は誤ってラベル付けされたサンプルを効果的に特定できるか？
• RQ3 さまざまなクラス不均衡緩和戦略は、極端な不正取引対通常取引比において、モデルの一般化性能をどの程度向上できるか？
• RQ4 限られたラベル付きデータにおいて、自己学習、三重学習、VIME のうち、どの半教師あり学習アプローチが多様な不正検出タスクで最高のパフォーマンスを発揮するか？
• RQ5 分類木ベースのモデル（例：CatBoost）と組み合わせた場合、未ラベルデータからの表現学習は、下流の不正検出性能を向上させるか？

主な発見

• デフォルト設定の三重学習が、28 の実験設定（7 データセット × 4 ラベル付率）のうち 10 個で最高のパフォーマンスを達成した。
• 慎重な三重学習バージョンは 10 回のケースで首位を獲得し、ノイズや曖昧なサンプルの処理においてより高いロバストネスを示した。
• 自己学習はいかなるシナリオでも最高のパフォーマンスを達成しなかった。これは、この手法に知られている過学習の欠陥が原因と考えられる。
• デフォルトの VIME フレームワークは性能が低く、唯一の首位獲得（fakejob データセット）を除き、表に記載されたすべてのタスクで劣勢であった。
• 自己学習による表現学習と CatBoost を組み合わせた場合、一部のケースでパフォーマンスが向上したが、ベースラインを顕著に上回ることはなかった。これは、このハイブリッドアプローチに限定的な利点があることを示唆している。
• ベンチマークにより、データ分布や分割のばらつきといった混同要因を低減し、多様な不正検出タスクにおける一貫性があり再現可能な評価が可能になった。