[논문 리뷰] Application of Deep Neural Networks to assess corporate Credit Rating

Parisa Golbayani, Dan Wang외 1명|arXiv (Cornell University)|2020. 03. 04.

Financial Distress and Bankruptcy Prediction참고 문헌 41인용 수 18

한 줄 요약

이 연구는 에너지, 금융, 헬스케어 부문의 미국 재무 데이터를 사용하여 S&P 기업 신용등급 예측을 위한 네 가지 딥 뉴럴 네트워크 아키텍처—MLP, CNN, CNN2D, LSTM—의 성능을 평가한다. LSTM가 시간적 데이터 분할 전략을 사용할 경우 다른 아키텍처보다 일관되게 뛰어난 성능을 보이며, 수동 특징 선택보다 전체 특징 세트를 사용할 경우 더 나은 결과를 얻는다.

ABSTRACT

Recent literature implements machine learning techniques to assess corporate credit rating based on financial statement reports. In this work, we analyze the performance of four neural network architectures (MLP, CNN, CNN2D, LSTM) in predicting corporate credit rating as issued by Standard and Poor's. We analyze companies from the energy, financial and healthcare sectors in US. The goal of the analysis is to improve application of machine learning algorithms to credit assessment. To this end, we focus on three questions. First, we investigate if the algorithms perform better when using a selected subset of features, or if it is better to allow the algorithms to select features themselves. Second, is the temporal aspect inherent in financial data important for the results obtained by a machine learning algorithm? Third, is there a particular neural network architecture that consistently outperforms others with respect to input features, sectors and holdout set? We create several case studies to answer these questions and analyze the results using ANOVA and multiple comparison testing procedure.

연구 동기 및 목표

• 재무제표 데이터를 활용하여 딥 뉴럴 네트워크의 S&P 기업 신용등급 예측 성능을 평가하는 것.
• 신경망이 수동으로 선택된 특징을 사용할 때보다 자동 특징 선택을 허용할 경우 더 나은 성능을 보이는지 조사하는 것.
• 재무 데이터의 시간적 구조가 모델 성능에 미치는 중요성을 평가하는 것.
• 특정 신경망 아키텍처가 다양한 부문 및 데이터 분할 방법 전반에서 항상 다른 아키텍처를 능가하는지 확인하는 것.
• ANOVA 및 다중 비교 검정을 활용한 통계적으로 엄밀한 비교를 통해 모델 성능 차이를 검증하는 것.

제안 방법

• 분기별 재무제표 데이터를 기반으로 다층퍼셉트론(MLP), 컨볼루션 신경망(CNN), 2차원 컨볼루션 네트워크(CNN2D), 장단기 기억(LSTM)의 네 가지 딥 뉴럴 네트워크 아키텍처를 훈련시켰다.
• 시간적 보류 전략을 적용—테스트용으로 한 해 분량의 데이터를 완전히 보류—실제 신용등급 평가 관행을 모방하여 향후 등급은 과거 재무 보고서에 의존한다는 점을 반영하였다.
• 시간적 누출이 성능 지표에 미치는 영향을 평가하기 위해 무작위 훈련-테스트 분할과 결과를 비교하였다.
• 이원 분산분석(ANOVA)과 푸아르의 HSD 사후 검정을 적용하여 아키텍처 및 부문 간 모델 성능 차이의 통계적 유의성을 평가하였다.
• 특징 선택 및 시간적 구조의 영향을 분리하기 위해 다양한 입력 특징과 데이터 분할 전략을 적용한 다수의 사례 연구를 수행하였다.
• 주요 성능 지표로는 테스트 세트에서의 정확도 비율을 사용하였으며, 결과는 부문 및 모델 아키텍처별로 분석하였다.

실험 결과

연구 질문

• RQ1 모든 재무제표 변수를 입력으로 사용함으로써 신경망이 자동 특징 선택을 수행할 경우, 수동으로 선택된 특징 조합을 사용할 때보다 성능이 뛰어나게 되는가?
• RQ2 재무 데이터에 내재된 시간적 구조가 모델 성능에 결정적인 영향을 미치는가? 시간적 보류 전략과 무작위 분할 전략 간 성능 평가에서 어떤 차이가 있는가?
• RQ3 다양한 부문 및 데이터 분할 전략 전반에서 항상 다른 아키텍처를 능가하는 단일 신경망 아키텍처가 존재하는가?
• RQ4 엄격한 통계적 검정을 통해 평가했을 때, MLP, CNN, CNN2D, LSTM 등의 다양한 아키텍처 간 성능 비교는 어떻게 이루어지는가?
• RQ5 시간적 데이터 분할 전략이 신용등급 예측에서 기계학습 모델의 성능 인식에 어느 정도의 영향을 미치는가?

주요 결과

• 모든 재무제표 변수를 입력으로 사용할 경우, 수동으로 선택된 특징 조합을 사용할 경우보다 유의미하게 높은 성능을 기록하였으며, 이는 딥 뉴럴 네트워크가 효과적으로 자동 특징 선택을 수행할 수 있음을 시사한다.
• 시간적 보류(일년 보류) 전략은 무작위 훈련-테스트 분할에 비해 더 현실적이고 보수적인 성능 추정을 제공하였다. 무작위 분할은 분기 간 데이터 누출로 인해 모델 성능을 과대평가하는 경향이 있었다.
• 무작위 훈련-테스트 분할은 시간적 분할에 비해 유의미하게 높은 정확도를 기록하였으며, 이는 평가 과정에서 시간적 의존성을 고려하지 않을 경우 과적합의 위험이 있음을 시사한다.
• LSTM는 모든 부문 및 사례 연구에서 일관되게 최상위 성능을 기록하였으며, 다수의 비교에서 통계적으로 뛰어난 성능을 보였다.
• 이원 분산분석을 통해 아키텍처와 부문 모두가 모델 성능에 매우 유의미한 영향을 미치는 것으로 확인되었으며(p < 0.001), 상호작용 효과 역시 유의미했다(p = 7.59e-45).
• 모든 부문에서 한 가지 아키텍처가 항상 우세한 것은 아니었지만, LSTM는 항상 상위 성능 그룹에 속해 있어 실무에서 신용등급 예측에 가장 견고한 선택임을 시사한다.