[論文レビュー] DeRisk: An Effective Deep Learning Framework for Credit Risk Prediction over Real-World Financial Data

Yancheng Liang, Jiajie Zhang+7 more|arXiv (Cornell University)|Aug 7, 2023

Financial Distress and Bankruptcy Prediction被引用数 4

ひとこと要約

DeRisk は、特徴量選択とデータ拡張を伴うデータ前処理、非順序および順序モデルの別々の学習、およびマルチフォーマットデータにおける共同微調整という3段階パイプラインを用いる、信用リスク予測のための画期的なディープラーニングフレームワークである。重み付きBCE損失、オーバーサンプリング、MLM事前学習などの技術を活用することで、実世界の金融データにおいて、従来の統計モデルを上回る最先端のパフォーマンスを達成しており、産業金融応用におけるディープラーニングの成功には、きめ細やかな設計と最適化が不可欠であることが示された。

ABSTRACT

Despite the tremendous advances achieved over the past years by deep learning techniques, the latest risk prediction models for industrial applications still rely on highly handtuned stage-wised statistical learning tools, such as gradient boosting and random forest methods. Different from images or languages, real-world financial data are high-dimensional, sparse, noisy and extremely imbalanced, which makes deep neural network models particularly challenging to train and fragile in practice. In this work, we propose DeRisk, an effective deep learning risk prediction framework for credit risk prediction on real-world financial data. DeRisk is the first deep risk prediction model that outperforms statistical learning approaches deployed in our company's production system. We also perform extensive ablation studies on our method to present the most critical factors for the empirical success of DeRisk.

研究の動機と目的

• 高次元でスパース、ノイズが多く、不均衡な実世界の金融データに対して、頑健なディープニューラルネットワークを訓練する課題に対処すること。
• 企業規模の金融データにおいて、既存の統計モデル（例：XGBoost、ランダムフォレスト）を上回る信用リスク予測性能を達成するディープラーニングフレームワークを開発すること。
• 広範なアブレーションスタディを通じて、この分野におけるディープラーニングの実証的成功に寄与する主要な技術的要素を同定・検証すること。
• データ品質が低く、クラス不均衡が極端な実世界の金融応用にディープラーニングを展開するための実用的で実行可能な知見を提供すること。

提案手法

• フレームワークは3段階のパイプラインを採用する：特徴量選択とDL特有のデータ拡張を伴うデータ前処理、非順序および順序モデルの別々の学習、およびマルチフォーマットデータにおける共同微調整。
• 実数値特徴量はXGBoostを用いて選択され、次元削減を図りながら予測力を維持する。最適なパフォーマンスは500特徴量で達成される。
• 欠損値（NaN）およびゼロのインジケータ特徴量を明示的に含めることで、定数による補完ではなく、意味のあるパターンを保持する。
• データ不均衡に対処するために、重み付きバイナリクロスエントロピー（BCE）損失が使用され、レアな正例（デフォルト）に高い重みが割り当てられる。
• オーバーサンプリングは選択的に適用される：順序モデルのTransformerでは最適化とパフォーマンスを向上させるが、非順序DNNでは過学習を引き起こすため、モデルに応じたサンプリング戦略が必要となる。
• 順序モデルに対してマスク言語モデル（MLM）事前学習が適用され、順序データ構造を活用することで最適化とパフォーマンスが向上する。

実験結果

リサーチクエスチョン

• RQ1 XGBoost やランダムフォレストといった確立された統計モデルを上回る性能を示すディープラーニングフレームワークは、低品質な金融データにおける実世界の信用リスク予測で実現可能か？
• RQ2 不均衡で高次元的かつスパースな金融データにおけるディープラーニングの優れたパフォーマンスを達成するために、トレーニングパイプラインのどの特定の要素が最も重要か？
• RQ3 特徴量選択、インジケータ特徴量、損失重み付け、オーバーサンプリング、事前学習などの技術が、モデルのパフォーマンスおよび最適化安定性にどのように影響を与えるか？
• RQ4 エンドツーエンドのディープラーニングはなぜ実世界の金融データでは失敗するのか？ どのような代替的なトレーニング戦略がより効果的か？

主な発見

• DeRisk は、企業の実環境での本番運用で使用されている意思決定ツリーに基づくシステムを上回り、既存の統計モデルを上回るAUCスコアを達成した。
• XGBoostを用いた特徴量選択はパフォーマンスを顕著に向上させ、500個の実数値特徴量を選択した際に最適な結果が得られた。100個に減らすか、選択を完全に取り除くとパフォーマンスが低下した。
• NaNおよびゼロのインジケータ特徴量を含めることで、単純な補完や削除と比較してAUCが0.0073向上した。これは欠損パターン自体が予測価値を持つことを示している。
• 重み付きBCE損失は、標準BCEとFocal損失と比較して、テストした損失関数の中で最も優れたパフォーマンスを示した。これは、不均衡な状況下でのクラス重み付けの重要性を強調している。
• オーバーサンプリングは、順序モデルのTransformerでは最適化を加速させ、パフォーマンスを向上させるが、非順序DNNでは過学習を引き起こすため、モデルに応じたサンプリング戦略の必要性が示された。
• 順序モデルのMLM事前学習は、パフォーマンスと最適化速度の両方を向上させ、順序的な信用履歴データを活用した事前学習の利点を実証した。