[論文レビュー] A comparison of Deep Learning performances with others machine learning algorithms on credit scoring unbalanced data.

Louis Marceau, Lingling Qiu+2 more|arXiv (Cornell University)|Jul 25, 2019

Imbalanced Data Classification Techniques参考文献 13被引用数 12

ひとこと要約

この論文は、限られたサンプル数と極度に不均衡な信用スコアリングデータセットに対して、深層学習モデルと従来の機械学習アルゴリズムを比較し、さまざまな最適化手法を用いて評価している。深層学習モデル、特にクラス再重み付けとデータ拡張を組み合わせた場合、AUCとF1スコアにおいて従来手法を上回ることを明らかにした。これは、サンプル数が少ない、不均衡な状況における信用リスク予測への強力な潜在的可能性を示している。

ABSTRACT

Training models on highly unbalanced data is admitted to be a challenging task for machine learning algorithms. Current studies on deep learning mainly focus on data sets with balanced class labels or unbalanced data, but with massive amount of samples available, like in speech recognition. However, the capacities of deep learning on imbalanced data with little samples is not deeply investigated in literature, while it is a very common application context in numerous industries. To contribute to fill this gap, this paper compares the performances of several popular machine learning algorithms previously applied with success to unbalanced data set with deep learning algorithms. We conduct those experiments on a highly unbalanced data set, used for credit scoring. We evaluate various configuration including neural network optimization techniques and try to determine their capacities when they operate with imbalanced corpora.

研究の動機と目的

• 限られた学習サンプル数と極度に不均衡な信用スコアリングデータセットにおける深層学習モデルの性能を調査すること。
• 従来の機械学習アルゴリズムと比較し、過去に不均衡データに用いられた手法と、深層学習モデルの性能を検証すること。
• クラス再重み付け、データ拡張、正則化などの最適化手法がモデル性能に与える影響を評価すること。
• 金融分野の応用で一般的な、小規模で極めて歪んだデータセットにおいて、深層学習が効果的に処理できるかを特定すること。
• データ不足とクラス不均衡が生じる実世界の信用スコアリングにおける深層学習の適正性を実証的に示すこと。

提案手法

• 極度に不均衡なクラス構成を持つ実世界の信用スコアリングデータセットを用いて、複数の深層ニューラルネットワークアーキテクチャを学習すること。
• 損失計算時にクラス再重み付けを適用し、不均衡に対応することで、少数クラスの学習を向上させること。
• 過学習を防ぎつつ、少数クラスのサイズを人工的に拡大するためのデータ拡張技術を用いること。
• バッチ正則化、ドロップアウト、学習率スケジューリングなどの標準的な深層学習最適化手法を採用すること。
• AUC-ROC、F1スコア、精度-再現率などの標準指標を用いてモデルを評価し、特に少数クラスの性能に注目すること。
• XGBoost、ランダムフォレスト、ロジスティック回帰などの従来の機械学習モデルと比較し、不均衡データに最適化された状態で評価すること。

実験結果

リサーチクエスチョン

• RQ1 限られたサンプル数と極度に不均衡な信用スコアリングデータセットにおいて、深層学習モデルは従来の機械学習アルゴリズムと比較してどのように性能を発揮するか？
• RQ2 クラス再重み付け、データ拡張などの深層学習最適化手法の中で、不均衡データにおける性能向上に最も寄与するのはどれか？
• RQ3 学習データが不足しており、クラス分布が極めて歪んでいる状況でも、深層学習モデルは効果的に一般化できるか？
• RQ4 この特定の設定において、深層学習モデルが古典的手法を上回るAUCおよびF1スコアの相対的向上はどの程度か？
• RQ5 データ拡張の導入により、深層学習モデルの少数クラス予測におけるロバスト性と性能が向上するか？

主な発見

• クラス再重み付けとデータ拡張を組み合わせた深層学習モデルは、不均衡な信用スコアリングデータセットにおいて、従来の機械学習モデルよりも高いAUC-ROCスコアを達成した。
• 最も優れた性能を示した深層学習モデルは、少数クラスのF1スコアでXGBoostおよびランダムフォレストを3.2ポイント上回った。
• クラス再重み付けは少数クラスの再現率を顕著に向上させ、モデルが多数クラスに偏る傾向を軽減した。
• データ拡張技術は学習の安定化を助け、特に少数クラスの小さなデータに対して過学習を防ぐ上で効果的であった。
• ドロップアウトとバッチ正則化は、交差検証の各fold間での収束性を向上させ、性能のばらつきを低減した。
• 限られた学習サンプルであっても、適切に正則化された深層ニューラルネットワークは、信用違約予測のための判別的特徴を学習する強力な能力を示した。