[논문 리뷰] Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

Mahsa Tavakoli, Rohitash Chandra외 2명|arXiv (Cornell University)|2023. 04. 21.

Financial Distress and Bankruptcy PredictionBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 수익성 콜 전사 기록의 텍스트와 수치 금융 데이터를 융합하여 기업 신용등급을 예측하는 다중모달 딥러닝 프레임워크를 제안한다. 초기-중기 하이브리드 융합과 연결을 사용하는 CNN 기반 모델은 복잡한 어텐션 기반 모델보다 뛰어난 성능을 보이며, 특히 코로나19 기간 동안 텍스트 모달리티가 가장 예측력이 높게 나타났다. 또한 무디스의 신용등급은 모델 예측과 장기적으로 더 잘 일치하는 경향을 보였다.

ABSTRACT

Knowing which factors are significant in credit rating assignment leads to better decision-making. However, the focus of the literature thus far has been mostly on structured data, and fewer studies have addressed unstructured or multi-modal datasets. In this paper, we present an analysis of the most effective architectures for the fusion of deep learning models for the prediction of company credit rating classes, by using structured and unstructured datasets of different types. In these models, we tested different combinations of fusion strategies with different deep learning models, including CNN, LSTM, GRU, and BERT. We studied data fusion strategies in terms of level (including early and intermediate fusion) and techniques (including concatenation and cross-attention). Our results show that a CNN-based multi-modal model with two fusion strategies outperformed other multi-modal techniques. In addition, by comparing simple architectures with more complex ones, we found that more sophisticated deep learning models do not necessarily produce the highest performance; however, if attention-based models are producing the best results, cross-attention is necessary as a fusion strategy. Finally, our comparison of rating agencies on short-, medium-, and long-term performance shows that Moody's credit ratings outperform those of other agencies like Standard & Poor's and Fitch Ratings.

연구 동기 및 목표

• 구조적(수치적) 및 비구조적(텍스트적) 데이터를 모두 활용하여 다중모달 딥러닝 모델의 기업 신용등급 예측 효과성을 평가하는 것.
• 수준(초기, 중기)과 기법(연결, 크로스어텐션)에 따라 다른 융합 전략이 모델 성능에 미치는 영향을 조사하는 것.
• 어떤 복잡한 아키텍처(예: 어텐션 기반 트랜스포머)가 단순한 아키텍처보다 신용등급 예측에서 더 나은 성능을 내는지 확인하는 것.
• 특히 코로나19와 같은 시장 불안정 기간 동안 텍스트와 수치 모달리티의 기여도가 예측 성능에 미치는 영향을 평가하는 것.
• 주요 신용등급 기관(Moody’s, S&P, Fitch)의 등급과 모델 예측 간의 일치도를 비교하여 단기, 중기, 장기 예측 수준에서의 성능을 분석하는 것.

제안 방법

• 수치적 및 텍스트적 데이터 스트림을 별도로 처리하기 위해 CNN, LSTM, GRU, BERT 등의 딥러닝 모델을 활용한다.
• 모델의 네트워크 상 다양한 단계에서 다양한 모달리티의 표현을 융합하기 위해 초기 및 중기 융합 전략을 적용한다.
• 텍스트 및 수치 스트림의 특징을 통합하기 위해 연결과 크로스어텐션을 융합 기법으로 사용한다.
• 기업 수익 콜 전사 기록과 재무제표 데이터로 구성된 데이터셋을 대상으로, 다양한 백본 네트워크와 융합 전략을 조합한 16개의 고유한 모델 구성형태를 훈련 및 평가한다.
• 예측 불가능한 데이터(Out-of-Distribution, OOD)에 대한 강건성 테스트를 실시하여 새로운 데이터와 위기 기간에서의 일반화 능력을 평가한다.
• 모달리티별 기여도를 측정하고 단기, 중기, 장기 예측 지연 수준에서의 모델 안정성을 평가하기 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 어느 다중모달 융합 전략(초기, 중기, 하이브리드)과 어느 딥러닝 아키텍처 조합이 신용등급 예측 정확도를 가장 높이는가?
• RQ2 수익 콜 텍스트 데이터를 포함시키면 수치 데이터만 사용할 경우보다 예측 성능이 유의미하게 향상되는가?
• RQ3 어떤 복잡한 모델(예: 어텐션 기반 트랜스포머, BERT + 크로스어텐션)이 이 다중모달 환경에서 단순한 모델(예: CNN)보다 성능이 뛰어나게 되는가?
• RQ4 모델 성능은 단기, 중기, 장기 예측 수준에서 어떻게 변화하는가? 어느 신용등급 기관의 등급이 모델 예측과 가장 잘 일치하는가?
• RQ5 코로나19 패닉과 같은 시장 불안정 기간 동안 모델의 예측 능력은 어느 정도 유지되는가?

주요 결과

• 초기 및 중기 융합 전략을 사용하고 연결을 융합 기법으로 사용하는 CNN 기반 모델이 가장 높은 성능을 기록했으며, 더 복잡한 어텐션 기반 모델보다 뛰어났다.
• 텍스트 모달리티가 정확도 향상에 가장 크게 기여했으며, 특히 코로나19 기간 동안 그러한 기여가 두드러졌다. 이는 경영진의 논의 내용이 중요한 리스크 정보를 담고 있음을 시사한다.
• 복잡한 어텐션 기반 모델은 크로스어텐션 융합 전략을 적용하지 않으면 단순한 CNN보다 성능이 열 劣하지 않으며, 크로스어텐션 융합이 그 성능 향상에 필수적임을 확인했다.
• 예측 불가능한 데이터(OOD) 테스트를 통해 모델의 강건성이 입증되었으며, 새로운 데이터와 시장 변동성 기간 동안에도 예측 능력을 유지했다.
• 무디스의 신용등급은 S&P와 피치보다 모델 예측과 더 강한 일치를 보였으며, 특히 중기 예측 수준에서 그러한 경향이 두드러졌다. 다만, 차이점은 상대적으로 미미했다.
• 본 연구는 텍스트 및 수치 데이터를 다중모달 딥러닝을 통해 융합함으로써, 기존의 구조적 데이터에만 의존하는 전통적 모델을 뛰어넘는 예측 정확도 향상을 확인했다.