[论文解读] Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

Mahsa Tavakoli, Rohitash Chandra+2 more|arXiv (Cornell University)|Apr 21, 2023

Financial Distress and Bankruptcy PredictionBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一种多模态深度学习框架，通过融合盈利电话会议文本和数值财务数据来预测企业信用评级。采用基于CNN的模型，结合早期-中间阶段混合融合与拼接策略，其性能优于复杂的注意力机制模型，其中文本模态表现最为预测性——尤其是在COVID-19危机期间——而穆迪（Moody’s）的评级与模型预测结果在长期表现出更强的一致性。

ABSTRACT

Knowing which factors are significant in credit rating assignment leads to better decision-making. However, the focus of the literature thus far has been mostly on structured data, and fewer studies have addressed unstructured or multi-modal datasets. In this paper, we present an analysis of the most effective architectures for the fusion of deep learning models for the prediction of company credit rating classes, by using structured and unstructured datasets of different types. In these models, we tested different combinations of fusion strategies with different deep learning models, including CNN, LSTM, GRU, and BERT. We studied data fusion strategies in terms of level (including early and intermediate fusion) and techniques (including concatenation and cross-attention). Our results show that a CNN-based multi-modal model with two fusion strategies outperformed other multi-modal techniques. In addition, by comparing simple architectures with more complex ones, we found that more sophisticated deep learning models do not necessarily produce the highest performance; however, if attention-based models are producing the best results, cross-attention is necessary as a fusion strategy. Finally, our comparison of rating agencies on short-, medium-, and long-term performance shows that Moody's credit ratings outperform those of other agencies like Standard & Poor's and Fitch Ratings.

研究动机与目标

• 评估多模态深度学习模型在结合结构化（数值）和非结构化（文本）数据时预测企业信用评级的有效性。
• 研究不同融合策略（按层级：早期、中间；按技术：拼接、交叉注意力）对模型性能的影响。
• 确定更复杂的架构（如基于注意力机制的模型）是否在信用评级预测中优于更简单的模型。
• 评估在市场压力时期（如COVID-19疫情期间）文本与数值模态对预测性能的相对贡献。
• 对比模型预测与主要评级机构（穆迪、标普、惠誉）评级的一致性，分析在短期、中期和长期预测时间范围内的表现。

提出的方法

• 采用深度学习模型（包括CNN、LSTM、GRU和BERT）分别处理数值和文本数据流。
• 应用早期和中间阶段融合策略，在网络的不同阶段整合来自不同模态的表示。
• 使用拼接和交叉注意力作为融合技术，整合来自文本和数值数据流的特征。
• 在企业盈利电话会议文本和财务报表数据集上，训练并评估16种不同的模型配置，结合不同的主干网络和融合策略。
• 实施分布外（OOU）鲁棒性测试，以评估模型在未见数据和危机时期的一般化能力。
• 开展消融研究以衡量各模态的独立贡献，并评估模型在短期、中期和长期预测延迟下的稳定性。

实验结果

研究问题

• RQ1 哪种多模态融合策略（早期、中间或混合）与哪种深度学习架构组合能在信用评级预测中实现最高准确率？
• RQ2 与仅使用数值数据相比，是否包含盈利电话会议中的文本数据能显著提升预测性能？
• RQ3 在该多模态设置中，更复杂的模型（如基于注意力机制的Transformer，例如使用交叉注意力的BERT）是否优于更简单的模型（如CNN）？
• RQ4 模型性能在短期、中期和长期预测时间范围内的表现如何变化？哪家评级机构的评级与模型预测结果最一致？
• RQ5 在市场压力时期（如COVID-19大流行期间），模型是否仍能保持其预测能力？

主要发现

• 基于CNN的模型，采用混合融合策略（早期与中间阶段融合），并以拼接作为融合技术，取得了最高性能，优于更复杂的注意力机制模型。
• 文本模态对预测准确率的贡献最为显著，尤其是在COVID-19危机期间，表明管理层评论中蕴含关键风险信息。
• 尽管结构复杂，注意力机制模型在未采用交叉注意力融合时并未优于简单的CNN；交叉注意力融合是其实现优越性能的关键。
• 模型在分布外（OOU）测试中表现出鲁棒性，能够在未见数据和市场波动时期保持预测能力。
• 穆迪（Moody’s）的信用评级与模型预测结果的一致性优于标普（S&P）和惠誉（Fitch），尤其在中期预测时间范围内，尽管差异相对较小。
• 本研究证实，通过多模态深度学习整合文本与数值数据，可显著提升预测准确率，超越仅依赖结构化数据的传统模型。