[논문 리뷰] Automatic Relevance Determination Bayesian Neural Networks for Credit Card Default Modelling

Rendani Mbuvha, Ilyes Boulkaibet외 1명|arXiv (Cornell University)|2019. 06. 14.

Financial Distress and Bankruptcy Prediction인용 수 4

한 줄 요약

이 논문은 신용카드 부도 예측을 위해 자동 관련성 결정(ARD)을 갖춘 베이지안 신경망(BNNs)을 제안하며, 가우시안 근사와 하이브리드 몬테카를로(HMC) 추론을 모두 사용한다. 결과적으로 ARD-BNNs는 표준 BNNs보다 유의미하게 뛰어난 성능을 보이며, HMC-ARD는 약간 더 낮은 거짓 음성 비율을 보이고, 두 방법 모두 규제 준수에 필수적인 강건하고 해석 가능한 기능 중요도 순위를 제공한다.

ABSTRACT

Credit risk modelling is an integral part of the global financial system. While there has been great attention paid to neural network models for credit default prediction, such models often lack the required interpretation mechanisms and measures of the uncertainty around their predictions. This work develops and compares Bayesian Neural Networks(BNNs) for credit card default modelling. This includes a BNNs trained by Gaussian approximation and the first implementation of BNNs trained by Hybrid Monte Carlo(HMC) in credit risk modelling. The results on the Taiwan Credit Dataset show that BNNs with Automatic Relevance Determination(ARD) outperform normal BNNs without ARD. The results also show that BNNs trained by Gaussian approximation display similar predictive performance to those trained by the HMC. The results further show that BNN with ARD can be used to draw inferences about the relative importance of different features thus critically aiding decision makers in explaining model output to consumers. The robustness of this result is reinforced by high levels of congruence between the features identified as important using the two different approaches for training BNNs.

연구 동기 및 목표

• 기존 신경망 모델이 신용 리스크 모델링에서 해석 가능성과 불확실성 측정에 부족한 점을 해결하기 위해.
• 자동 관련성 결정(ARD)을 통해 기능 중요도 추정이 가능한 베이지안 신경망(BNNs)을 개발하기 위해.
• 신용 부도 예측의 맥락에서 가우시안 근사와 하이브리드 몬테카를로(HMC)라는 두 가지 베이지안 추론 방법을 비교하기 위해.
• ARD-BNNs가 모델 투명성을 향상시키고, GDPR의 '설명 요구 권리'와 같은 규제 준수를 지원할 수 있는지 평가하기 위해.
• 실제 신용 데이터를 사용하여 ARD-BNNs의 강건성과 예측 성능을 평가하기 위해.

제안 방법

• 신뢰도 측정 기능을 갖춘 베이지안 신경망(BNNs)을 사용하여 부도 확률을 모델링한다.
• 가중치 사전분포의 반분산 파rameter를 학습시켜 입력 특징의 상대적 중요도를 추론하기 위해 자동 관련성 결정(ARD)을 적용한다.
• 신속한 훈련과 불확실성 추정을 가능하게 하기 위해 BNNs에서 가우시안 근사를 사용한 근사 베이지안 추론을 시행한다.
• 정확한 사후 샘플링을 통해 불확실성과 기능 관련성 추정의 이론적 강건성을 향상시키기 위해 하이브리드 몬테카를로(HMC)를 구현한다.
• 70:30 훈련-테스트 분할을 사용하여 대만 신용카드 데이터셋에서 모델을 훈련하고 평가한다.
• AUC와 혼동 행렬을 사용하여 성능을 평가하며, 신용 리스크와 관련된 거짓 음성 비율에 중점을 둔다.

실험 결과

연구 질문

• RQ1 자동 관련성 결정(ARD)을 갖춘 베이지안 신경망(ARD-BNNs)은 기존 신경망에 비해 신용 부도 모델링의 해석 가능성에서 향상될 수 있는가?
• RQ2 ARD-BNNs의 신용 리스크 예측에 있어 가우시안 근사와 하이브리드 몬테카를로(HMC) 추론은 예측 성능 및 불확실성 측정 측면에서 어떻게 비교되는가?
• RQ3 다양한 추론 방법에 대해 ARD-BNNs는 일관되고 강건한 기능 중요도 순위를 도출하는가?
• RQ4 BNNs에 ARD를 포함시키면 일반화 성능 향상과 함께 부도 예측의 거짓 음성 비율이 감소하는가?
• RQ5 실제 신용 데이터에서 HMC-ARD는 가우시안 근사에 비해 더 신뢰할 수 있는 불확실성 추정과 기능 관련성을 제공하는가?

주요 결과

• HMC로 훈련한 ARD-BNNs는 AUC 0.7783을 기록하여 HMC-MLP 기준선(AUC 0.7079)을 초월하며, ARD의 모델 정확도 향상 효과를 입증한다.
• 가우시안 근사-ARD 모델은 AUC 0.7753을 기록하여 계산 비용이 낮은 점을 감안할 때 HMC-ARD와 유사한 예측 성능를 보였다.
• HMC-ARD는 거짓 음성 수가 331개로 가우시안 근사-ARD(355개)보다 약간 적어, 비용이 큰 부도 오분류를 더 잘 통제함을 시사한다.
• 두 ARD-BNNs 모두 PAY0(6개월 전 지불 상태)를 가장 중요한 특징으로 규명하였으며, PAY3, LIMIT BAL, PAY AMT2와 같은 주요 예측 변수에 대해 강한 일치를 보였다.
• HMC-ARD 모델은 추가로 교육 수준이 관련 예측 변수임을 규명하였고, 사후 분산 히트맵을 통해 두 추론 방법 간 일관된 기능 중요도 순위가 확인되었다.
• HMC-ARD와 가우시안 근사-ARD 간의 기능 관련성 높은 일치는 ARD 기반 기능 선택의 강건성을 입증하며, 모델 설명에 활용할 수 있음을 뒷받침한다.