[論文レビュー] Evaluating resampling methods on a real-life highly imbalanced online credit card payments dataset

François de la Bourdonnaye, Fabrice Daniel|arXiv (Cornell University)|Jun 27, 2022

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本研究では、勾配ブースティングモデル（XGBoost、LightGBM、CatBoost）を用いて、極度に不均衡な大規模な実世界のオンラインクレジットカード不正取引データセットに対して、最先端のリサンプリング手法の効果を評価している。再サンプリング手法は再検出率（recall）の顕著な向上を示したが、精度（precision）とPR AUCは著しく低下し、この極度に不均衡なデータセットに対しては有効でないことが示された。勾配ブースティング単体が、すべてのリサンプリング戦略を上回る性能を示した。

ABSTRACT

Various problems of any credit card fraud detection based on machine learning come from the imbalanced aspect of transaction datasets. Indeed, the number of frauds compared to the number of regular transactions is tiny and has been shown to damage learning performances, e.g., at worst, the algorithm can learn to classify all the transactions as regular. Resampling methods and cost-sensitive approaches are known to be good candidates to leverage this issue of imbalanced datasets. This paper evaluates numerous state-of-the-art resampling methods on a large real-life online credit card payments dataset. We show they are inefficient because methods are intractable or because metrics do not exhibit substantial improvements. Our work contributes to this domain in (1) that we compare many state-of-the-art resampling methods on a large-scale dataset and in (2) that we use a real-life online credit card payments dataset.

研究の動機と目的

• 極度に不均衡な大規模な実世界のオンラインクレジットカード決済データセットにおける最先端のリサンプリング技術の有効性を評価すること。
• リサンプリングが精度、再検出率、F1スコア、PR AUCといった不正検出の主要指標を向上させるかどうかを特定すること。
• 最大1000万件のサンプルを含むデータセットにおける計算上の制約を考慮した上で、実行可能なリサンプリング手法を同定すること。
• XGBoost、LightGBM、CatBoostといった複数の勾配ブースティングモデルが、リサンプリング有無の両方でこのデータセット上でどのように性能を発揮するかを比較すること。
• 実世界の不正検出シナリオにおけるリサンプリングの限界を実証的に示すこと。

提案手法

• 本研究では、7種類の最先端リサンプリング手法を適用：ランダムオーバーサンプリング、ランダムアンダーサンプリング、SMOTE、ボーダーラインSMOTE、ADASYN、NEar-NEst-Neighbor（NearMiss）、インスタンスハードネススコア（IHT）。
• リサンプリングは、不正取引が全取引の極めてわずかな割合を占める極度に不均衡な実世界のオンラインクレジットカード決済データセットに適用された。
• XGBoost、LightGBM、CatBoostの3つの勾配ブースティングモデルを、リサンプリング済みおよび元のデータセット上で訓練し、性能差を評価した。
• 性能指標として、精度、再検出率、F1スコア、PR AUCを用い、ベースライン（リサンプリングなし）に対するパcent変化率として結果を報告した。
• 計算上の実行可能性は、80コアのハイパーサンプリングCPUと1TBのRAMを備えた高性能クラスタを用いて、実際のリサンプリング時間の測定によって評価された。
• 分析は、再検出率の向上と精度の低下のトレードオフに焦点を当て、少数クラスの検出向上が偽陽性の増加によって相殺されないかを特に検討した。

実験結果

リサーチクエスチョン

• RQ1 最先端のリサンプリング手法は、実世界の大規模かつ極度に不均衡なオンラインクレジットカードデータセットにおいて、不正検出性能を顕著に向上させるか？
• RQ2 最大1000万件のサンプルを含むデータセットにおいて、どのリサンプリング手法が計算的に実行可能か？
• RQ3 実世界の不正検出において、リサンプリング手法は再検出率の向上を伴いながら、精度とPR AUCをどれほど損なうか？
• RQ4 XGBoost、LightGBM、CatBoostといった異なる勾配ブースティングモデルは、このデータセット上でリサンプリング有無でどのように性能を発揮するか？
• RQ5 リサンプリング技術は全体として有効か、それとも再検出率の向上にもかかわらず、主要指標が劣化するため、実用的でないか？

主な発見

• インスタンスハードネススコア（IHT）、ランダムアンダーサンプリング、ボーダーラインSMOTEは、再検出率を最大841%、F1スコアを最大96%まで向上させたが、PR AUCは31–68%低下、精度は77–99%低下した。
• SMOTEとADASYNは、PR AUCを59–67%低下、精度を91–93%低下させた一方で、再検出率は527–836%向上し、深刻なトレードオフが生じた。
• NearMissは再検出率の上昇が最大1657%に達したが、PR AUCは97%低下、精度は99%低下し、実用的ではなくなった。
• すべてのリサンプリング手法がPR AUCと精度を著しく低下させ、すべての指標で顕著なネット向上を示す手法は存在しなかった。
• 結果から、リサンプリングはこのデータセットに対して効果がなく、勾配ブースティング単体がいかなるリサンプリング戦略よりも優れた性能を示した。
• 本研究では、勾配ブースティングモデルがリサンプリングよりもクラス不均衡をより効果的に処理できることを結論づけた。特に、困難な例（hard examples）に注目する特性がその要因である。