[论文解读] Credit Risk Meets Large Language Models: Building a Risk Indicator from Loan Descriptions in P2P Lending

Mario Sanz-Guerrero, Javier Arroyo|arXiv (Cornell University)|Jan 29, 2024

FinTech, Crowdfunding, Digital FinanceBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一种新颖的P2P借贷信用风险评分方法，通过利用大型语言模型BERT分析借款人提供的贷款描述。通过迁移学习进行微调后，该模型生成的风险评分显著提升了信用风险分类性能，优于仅使用分类变量的模型，但可解释性和偏差问题仍是关键挑战。

ABSTRACT

Peer-to-peer (P2P) lending connects borrowers and lenders through online platforms but suffers from significant information asymmetry, as lenders often lack sufficient data to assess borrowers' creditworthiness. This paper addresses this challenge by leveraging BERT, a Large Language Model (LLM) known for its ability to capture contextual nuances in text, to generate a risk score based on borrowers' loan descriptions using a dataset from the Lending Club platform. We fine-tune BERT to distinguish between defaulted and non-defaulted loans using the loan descriptions provided by the borrowers. The resulting BERT-generated risk score is then integrated as an additional feature into an XGBoost classifier used at the loan granting stage, where decision-makers have limited information available to guide their decisions. This integration enhances predictive performance, with improvements in balanced accuracy and AUC, highlighting the value of textual features in complementing traditional inputs. Moreover, we find that the incorporation of the BERT score alters how classification models utilize traditional input variables, with these changes varying by loan purpose. These findings suggest that BERT discerns meaningful patterns in loan descriptions, encompassing borrower-specific features, specific purposes, and linguistic characteristics. However, the inherent opacity of LLMs and their potential biases underscore the need for transparent frameworks to ensure regulatory compliance and foster trust. Overall, this study demonstrates how LLM-derived insights interact with traditional features in credit risk modeling, opening new avenues to enhance the explainability and fairness of these models.

研究动机与目标

• 通过从非结构化贷款描述中提取信用风险信号，解决P2P借贷中的信息不对称问题。
• 评估类似BERT的大语言模型是否能够超越传统变量，提升信用风险分类性能。
• 开发一种无需人工标注或主观标签的可扩展、自动化的风险评分系统。
• 评估语言特征和内容质量对生成风险评分的影响。
• 识别在大语言模型驱动的信用评估中与可解释性、偏差和监管合规性相关的关键挑战。

提出的方法

• 在Lending Club数据集上通过迁移学习微调BERT，将贷款描述分类为违约或非违约。
• 使用BERT分类头的最后一层，从每份贷款描述中提取连续的风险评分。
• 将BERT生成的风险评分作为特征，整合到基于XGBoost的信用风险分类器中。
• 进行广泛的数据预处理，包括文本清洗、分词处理，以及对数据集中类别不平衡问题的处理。
• 应用可解释性技术，分析语言语气、清晰度和内容如何影响风险评分。
• 比较仅使用分类变量与同时包含BERT风险评分的模型性能，以评估其增量价值。

实验结果

研究问题

• RQ1 微调后的BERT模型能否有效从P2P借贷的非结构化贷款描述中提取信用风险信号？
• RQ2 BERT生成的风险评分在预测贷款违约方面，与传统信用变量相比表现如何？
• RQ3 语言因素（如语气、清晰度和结构）在多大程度上影响BERT生成的风险评分？
• RQ4 模型的不透明性及潜在偏差对监管合规性和用户信任有何影响？
• RQ5 是否可通过替代的大语言模型架构或提示策略，在提升可解释性的同时改善性能？

主要发现

• 基于BERT的风险评分显著提升了XGBoost信用风险分类器的性能，优于仅使用分类变量的模型。
• 仅使用BERT评分的模型在分类性能上优于完全依赖人口统计和财务特征的模型。
• 语言质量更高的贷款描述——即更清晰、更自信、更客观——往往获得更低的风险评分，表明存在对表达良好叙事的偏见。
• 对于描述详细、客观且自信的贷款，模型的风险评分始终低于0.4，与非违约预测结果一致。
• 尽管性能出色，BERT的黑箱特性限制了可解释性，且个体评分的确切驱动因素仍不透明。
• 本研究指出，需要更透明的方法，例如结合嵌入向量的混合主题建模，以提升大语言模型驱动风险评估中的可解释性。