[논문 리뷰] Managing dataset shift by adversarial validation for credit scoring

Hongyi Qian, Baohui Wang외 4명|arXiv (Cornell University)|2021. 12. 19.

Imbalanced Data Classification Techniques인용 수 5

한 줄 요약

이 논문은 교차검증 중에 테스트 세트의 분포와 가장 유사한 훈련 샘플을 선택하여 데이터셋 이탈을 완화하기 위해 적대적 검증 기반 방법을 제안한다. 이와 동시에 분포에서 벗어난 샘플도 훈련에 포함시킨다. 이 방법은 모델의 일반화 능력을 향상시키며, 테스트 세트 AUC 0.7327을 달성하여 기존의 연도 순서 및 무작위 분할 방식을 능가한다.

ABSTRACT

Dataset shift is common in credit scoring scenarios, and the inconsistency between the distribution of training data and the data that actually needs to be predicted is likely to cause poor model performance. However, most of the current studies do not take this into account, and they directly mix data from different time periods when training the models. This brings about two problems. Firstly, there is a risk of data leakage, i.e., using future data to predict the past. This can result in inflated results in offline validation, but unsatisfactory results in practical applications. Secondly, the macroeconomic environment and risk control strategies are likely to be different in different time periods, and the behavior patterns of borrowers may also change. The model trained with past data may not be applicable to the recent stage. Therefore, we propose a method based on adversarial validation to alleviate the dataset shift problem in credit scoring scenarios. In this method, partial training set samples with the closest distribution to the predicted data are selected for cross-validation by adversarial validation to ensure the generalization performance of the trained model on the predicted samples. In addition, through a simple splicing method, samples in the training data that are inconsistent with the test data distribution are also involved in the training process of cross-validation, which makes full use of all the data and further improves the model performance. To verify the effectiveness of the proposed method, comparative experiments with several other data split methods are conducted with the data provided by Lending Club. The experimental results demonstrate the importance of dataset shift in the field of credit scoring and the superiority of the proposed method.

연구 동기 및 목표

• 시간적 변화 및 거시경제적 요인 변화로 인해 훈련 데이터와 테스트 데이터의 분포가 다를 때 발생하는 데이터셋 이탈 문제를 해결하기 위해.
• 특히 시간에 따라 변화하는 금융 데이터에서 분포 이탈을 忽시하는 전통적인 교차검증의 한계를 극복하기 위해.
• 실제 테스트 데이터에 대해 일반화 능력을 향상시키기 위해 테스트 세트의 분포와 가장 유사한 훈련 샘플을 선택하기 위해.
• 성능 안정성을 유지하기 위해 비유사 샘플은 검증에서 제외하고 훈련에는 포함함으로써 데이터 활용도를 극대화하기 위해.
• 적대적 검증이 연도 순서 및 무작위 분할 방식보다 신용 평가 시나리오에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 적대적 검증을 통해 이진 분류기(판별기)를 훈련시켜 훈련 샘플과 테스트 세트 간의 분포 유사도를 측정한다.
• 적대적 점수(즉, 테스트 데이터와 가장 유사한)가 높은 훈련 샘플을 선택하여 교차검증에 활용함으로써 일반화를 보장한다.
• 분위수 기반 임계값을 적용하여 성능이 뛰어난 샘플을 선택한다 — 예를 들어 한 실험에서는 75번째 백분위수를 사용한다.
• 테스트 세트와 유사성이 떨어지는 나머지 훈련 샘플은 교차검증의 훈련 폴드에 포함되지만 검증에서 제외하여 모델의 강건성을 유지한다.
• 분포 인식 샘플링과 전체 데이터 활용을 결합함으로써 일반화와 데이터 효율성의 균형을 이루는 방법이다.
• 실험은 시간 태그가 부여된 데이터를 사용한 Lending Club 데이터셋을 활용하여 실제 시간적 분포 이탈을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 테스트 데이터가 서로 다른 시기에서 추출될 경우, 데이터셋 이탈이 신용 평가에서 모델 성능에 어떤 영향을 미치는가?
• RQ2 적대적 검증이 테스트 세트의 분포와 가장 유사한 훈련 샘플을 효과적으로 식별할 수 있는가?
• RQ3 교차검증에 가장 유사한 샘플들만 사용할 경우, 미리 보지 않은 테스트 데이터에 대한 모델의 일반화 능력이 향상되는가?
• RQ4 검증에서 제외하고 훈련에 포함시킴으로써 비유사한 훈련 샘플을 통합하면 성능과 안정성이 더욱 향상되는가?
• RQ5 제안된 방법은 AUC 및 강건성 측면에서 연도 순서 및 무작위 분할 방식과 비교해 어떻게 성능이 뛰어나게 되는가?

주요 결과

• 제안된 적대적 검증 방법은 모든 실험 설정 중에서 가장 높은 테스트 세트 AUC 0.7327을 달성한다.
• 적대적 검증 점수 기반 상위 75번째 백분위수 샘플만을 교차검증에 사용할 경우, 테스트 세트 AUC는 0.7315에 이른다.
• 검증에서 제외하고 훈련에 포함하는 낮은 순위이지만 여전히 관련성이 있는 샘플들을 포함시킴으로써 성능 안정성이 향상되고, 40번째 백분위수 기준에서 최대 AUC가 0.7327로 상승한다.
• 특히 분포 이탈 상황에서 연도 순서 또는 무작위 분할 방식보다 훨씬 뛰어난 일반화 능력을 보여준다.
• 분포가 유사한 샘플과 비유사한 샘플을 모두 훈련에 포함하고, 검증은 가장 유사한 서브셋에 국한할 경우 최적의 성능이 달성된다.
• 선택된 샘플의 분포는 테스트 세트의 시계열 분포와 매우 유사하게 일치함을 확인하여, 이 방법이 시간적 민감성을 잘 반영하고 있음을 입증한다.