[論文レビュー] A comparison of Deep Learning performances with other machine learning algorithms on credit scoring unbalanced data

Louis Marceau, Lingling Qiu+2 more|arXiv (Cornell University)|Jul 25, 2019

Financial Distress and Bankruptcy Prediction被引用数 8

ひとこと要約

本研究では、サンプル数が限られ、極めて不均衡なクレジットスコアリングデータセットにおいて、従来の機械学習（例：XGBoost、ランダムフォレスト）とディープラーニング（DNN、Auto-Keras NAS）を比較した。膨大なハイパーパrameterチューニングとAutoML最適化を経ても、Fスコア（0.5496 対 0.5399）においてXGBoostがディープラーニングモデルを上回り、Auto-Kerasは手動でチューニングされたDNNやツリー基盤モデルを上回らなかった。これは、小規模で不均衡な金融データセットにおいてNASの利点が限定的であることを示している。

ABSTRACT

Training models on highly unbalanced data is admitted to be a challenging task for machine learning algorithms. Current studies on deep learning mainly focus on data sets with balanced class labels or unbalanced data, but with massive amount of samples available, like in speech recognition. However, the capacities of deep learning on imbalanced data with little samples is not deeply investigated in literature, while it is a very common application context in numerous industries. To contribute to fill this gap, this paper compares the performances of several popular machine learning algorithms previously applied with success to unbalanced data set with deep learning algorithms. We conduct those experiments on a highly unbalanced data set, used for credit scoring. We evaluate various configuration including neural network optimization techniques and try to determine their capacities when they operate with imbalanced corpora.

研究の動機と目的

• 限られたサンプル数と極めて不均衡なクレジットスコアリングデータにおいて、ディープラーニングモデルが従来の機械学習アルゴリズム（XGBoost、ランダムフォレストなど）を上回る性能を示すかを評価すること。
• ニューラルアーキテクチャサーチ（NAS）を含むAutoML技術が、この文脈において手動でチューニングされたDNNやツリー基盤モデルを上回る性能を発揮するかを調査すること。
• クレジットリスクモデリングにおける、AutoMLと従来のMLおよびディープラーニング手法の計算コストとエネルギー効率を比較すること。
• 不均衡な金融データセットにおける高精度な分類の実現に、特徴量工学とモデルアーキテクチャ設計が依然として重要であるかを評価すること。
• ツリー基盤とディープラーニング分類器を組み合わせたハイブリッドモデルが、不均衡なクレジットデータにおける分類性能を向上させられるかを検討すること。

提案手法

• 12か月後のデフォルト予測タスクを目的とした、実世界のクレジットカードデータセットを用いて、XGBoost、ランダムフォレスト、勾配ブースティングなどの複数の機械学習モデルを訓練・比較した。
• Kerasを用いて標準的なハイパーパrameterチューニングを実施したディープニューラルネットワーク（DNN）を構築し、バッチ正規化やReLU活性化関数などの技術を適用した。
• 4時間の探索時間枠を設け、Auto-Kerasを用いてニューラルアーキテクチャサーチ（NAS）を実行し、最適なDNNアーキテクチャとハイパーパrameterを自動で同定した。
• 精度、再現率、Fスコア、AUC、実行時間などの標準的な評価指標を用いて、すべての設定におけるモデル性能を比較した。
• 24か月分のクレジットカード取引履歴から特徴量を抽出・工学処理し、モデル入力用のユーザー行動表現を構築した。
• AutoMLの影響を明確に分離するためのアブレーションスタディを実施し、NAS最適化モデルと手動チューニングDNN、ツリー基盤モデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 限られたサンプル数と極めて不均衡なクレジットスコアリングデータにおいて、ディープラーニングモデルがXGBoost やランダムフォレストなどの従来の機械学習アルゴリズムを上回る性能を示せるか？
• RQ2 ニューラルアーキテクチャサーチ（NAS）を用いたAutoMLは、手動でチューニングされたDNNと比較して、不均衡な金融データセットにおけるディープラーニング性能を向上させられるか？
• RQ3 クレジットリスクモデリングにおける、AutoML技術の計算コストとエネルギー効率は、従来のMLおよびディープラーニング手法と比べてどの程度か？
• RQ4 不均衡なクレジットスコアリングタスクにおいて、特徴量工学とモデルアーキテクチャ設計が性能に与える影響はどの程度継続的に重要であるか？
• RQ5 ツリー基盤とディープラーニング分類器を組み合わせたハイブリッドモデルは、不均衡なクレジットデータにおける分類性能を向上させられるか？

主な発見

• XGBoostは12か月後のデフォルト予測タスクで最高のFスコア（0.5496）を達成し、手動チューニングDNN（Fスコア：0.5399）およびAuto-Keras NASモデル（Fスコア：0.5390）を上回った。
• Auto-Keras NAS設定は、精度（0.5146）を向上させたが、再現率（0.5659）を低下させ、長時間のトレーニングにもかかわらずFスコアは低下した。
• DNNおよびAuto-Kerasモデルの計算コストはXGBoostに比べて顕著に高く、それぞれ450.1秒および611秒の実行時間であったのに対し、XGBoostは299.8秒であった。
• AutoMLはXGBoostや手動チューニングDNNを上回るニューラルアーキテクチャを発見できず、NASが熟練した知識が最小限で最先端の性能を自動的に得られるという仮定を裏付けるものではなかった。
• 本研究は、NASの高いエネルギーおよび計算コストを浮き彫りにし、クレジットリスクモデリングのような実世界の応用において、コスト対効果の分析が不可欠であることを示唆している。
• AutoMLの進展にもかかわらず、小規模で不均衡な金融データセットでは、特徴量工学とモデル固有のチューニングが最適なパフォーマンスを達成するために依然として不可欠である。