[論文レビュー] Managing dataset shift by adversarial validation for credit scoring

Hongyi Qian, Baohui Wang+4 more|arXiv (Cornell University)|Dec 19, 2021

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本論文は、交差検証用にテストセットの分布に最も近い訓練サンプルを選択することで、与信スコアリングにおけるデータセットシフトを軽減する敵対的検証ベースの手法を提案している。同時に、分布外のサンプルも訓練に組み込む。このアプローチによりモデルの一般化性能が向上し、テストセットのAUCは0.7327に達し、標準的な時系列的およびランダムな分割を上回った。

ABSTRACT

Dataset shift is common in credit scoring scenarios, and the inconsistency between the distribution of training data and the data that actually needs to be predicted is likely to cause poor model performance. However, most of the current studies do not take this into account, and they directly mix data from different time periods when training the models. This brings about two problems. Firstly, there is a risk of data leakage, i.e., using future data to predict the past. This can result in inflated results in offline validation, but unsatisfactory results in practical applications. Secondly, the macroeconomic environment and risk control strategies are likely to be different in different time periods, and the behavior patterns of borrowers may also change. The model trained with past data may not be applicable to the recent stage. Therefore, we propose a method based on adversarial validation to alleviate the dataset shift problem in credit scoring scenarios. In this method, partial training set samples with the closest distribution to the predicted data are selected for cross-validation by adversarial validation to ensure the generalization performance of the trained model on the predicted samples. In addition, through a simple splicing method, samples in the training data that are inconsistent with the test data distribution are also involved in the training process of cross-validation, which makes full use of all the data and further improves the model performance. To verify the effectiveness of the proposed method, comparative experiments with several other data split methods are conducted with the data provided by Lending Club. The experimental results demonstrate the importance of dataset shift in the field of credit scoring and the superiority of the proposed method.

研究の動機と目的

• 時系列的およびマクロ経済的要因の変化により、訓練データとテストデータの分布が異なる与信スコアリングにおけるデータセットシフトを是正すること。
• 特に時系列的金融データにおいて顕著なデータ分布シフトを無視する伝統的な交差検証の限界を克服すること。
• テストセットの分布に最も類似した訓練サンプルを選択することで、実世界のテストデータにおけるモデルの一般化性能を向上させること。
• 性能の安定性を保つために、検証から除外するが訓練に含める不一致なサンプルを活用することで、データ利用効率を最大化すること。
• 与信スコアリングの文脈において、敵対的検証が時系列的およびランダムなデータ分割を上回ることを実証すること。

提案手法

• 敵対的検証を用いて、訓練サンプルとテストセットとの間の分布的類似度を測定する。これは、二値分類器を訓練して両者を区別させることで実現される。
• 敵対的スコアが最も高い（すなわちテストデータに最も類似した）訓練サンプルを交差検証用に選択することで、一般化性能を保証する。
• 分位数ベースのしきい値を適用し、敵対的検証スコアに基づいて上位のサンプルを選択する。例えば、ある実験では75パーセンタイルを用いた。
• テストセットとは類似性が低いとされる残りの訓練サンプルは、交差検証の訓練フェルドに追加されるが、検証フェルドからは除外される。これによりモデルの頑健性が保たれる。
• 分布に配慮したサンプリングと完全なデータ利用を組み合わせることで、一般化とデータ効率のバランスを図る。
• 実験では、時系列データを備えたLending Clubデータセットを用い、実世界の時系列的分布シフトを模擬した。

実験結果

リサーチクエスチョン

• RQ1 訓練データとテストデータが異なる時系列に属する場合、データセットシフトが与信スコアリングにおけるモデル性能に与える影響は何か？
• RQ2 敵対的検証は、テストセットの分布に最も近い訓練サンプルを効果的に同定できるか？
• RQ3 交差検証に最も類似したサンプルのみを用いることで、未知のテストデータにおけるモデルの一般化性能が向上するか？
• RQ4 検証から除外するが訓練に含める不一致なサンプルを組み込むことで、性能と安定性がさらに向上するか？
• RQ5 AUCと頑健性の観点から、本手法は時系列的およびランダムなデータ分割に比べて優れているか？

主な発見

• 提案手法の敵対的検証により、テストセットのAUCは0.7327に達し、すべての実験的設定の中で最高となった。
• 敵対的検証スコアの上位75パーセンタイルのサンプルのみを交差検証に使用した場合、テストセットのAUCは0.7315に達した。
• 検証から除外されるが訓練に含める下位ランクの関連性のあるサンプルを統合することで、性能の安定性が向上し、40パーセンタイルのしきい値で最大AUCが0.7327にまで上昇した。
• 特に分布シフトが顕著な状況下でも、時系列的またはランダムなデータ分割よりも顕著に優れた一般化性能を示した。
• 分布的に類似したサンプルと不一致なサンプルの両方を訓練に含め、検証は類似性が最も高いサブセットに限定することで最適な性能が達成された。
• 選択されたサンプルの分布は、テストセットの時系列的分布と密接に一致しており、本手法の時系列的感度が裏付けられた。