[論文レビュー] Credit Risk Meets Large Language Models: Building a Risk Indicator from Loan Descriptions in P2P Lending

Mario Sanz-Guerrero, Javier Arroyo|arXiv (Cornell University)|Jan 29, 2024

FinTech, Crowdfunding, Digital FinanceBusiness, Management and Accounting被引用数 3

ひとこと要約

本稿では、大規模言語モデルであるBERTを活用して、融資希望者が提出するローン説明文を分析することで、P2Pレンディングにおける新規の信用リスクスコアリング手法を提案する。微調整された転移学習を経て、モデルは信用リスクスコアを生成し、従来のカテゴリカル変数のみを用いたモデルを上回る信用リスク分類性能を示すが、解釈可能性とバイアスの問題は依然として深刻な課題である。

ABSTRACT

Peer-to-peer (P2P) lending connects borrowers and lenders through online platforms but suffers from significant information asymmetry, as lenders often lack sufficient data to assess borrowers' creditworthiness. This paper addresses this challenge by leveraging BERT, a Large Language Model (LLM) known for its ability to capture contextual nuances in text, to generate a risk score based on borrowers' loan descriptions using a dataset from the Lending Club platform. We fine-tune BERT to distinguish between defaulted and non-defaulted loans using the loan descriptions provided by the borrowers. The resulting BERT-generated risk score is then integrated as an additional feature into an XGBoost classifier used at the loan granting stage, where decision-makers have limited information available to guide their decisions. This integration enhances predictive performance, with improvements in balanced accuracy and AUC, highlighting the value of textual features in complementing traditional inputs. Moreover, we find that the incorporation of the BERT score alters how classification models utilize traditional input variables, with these changes varying by loan purpose. These findings suggest that BERT discerns meaningful patterns in loan descriptions, encompassing borrower-specific features, specific purposes, and linguistic characteristics. However, the inherent opacity of LLMs and their potential biases underscore the need for transparent frameworks to ensure regulatory compliance and foster trust. Overall, this study demonstrates how LLM-derived insights interact with traditional features in credit risk modeling, opening new avenues to enhance the explainability and fairness of these models.

研究の動機と目的

• 非構造化のローン説明文から信用リスクの兆候を抽出することで、P2Pレンディングにおける情報非対称性を是正すること。
• BERTのような大規模言語モデルが、従来の変数を上回る信用リスク分類を可能にするかを評価すること。
• 手動によるアノテーションや主観的ラベルなしに、スケーラブルで自動化されたリスクスコアリングシステムを構築すること。
• 言語的特徴やコンテンツの質が生成されたリスクスコアに与える影響を評価すること。
• LLM駆動の信用評価における解釈可能性、バイアス、規制適合に関する主な課題を特定すること。

提案手法

• Lending Clubデータセットを用いて、BERTを転移学習で微調整し、ローン説明文を「デフォルト」または「非デフォルト」に分類する。
• BERTの分類ヘッドの最終層から、各ローン説明文の連続的なリスクスコアを抽出する。
• BERTが生成したリスクスコアを、XGBoostベースの信用リスク分類器の特徴量として統合する。
• テキストのクリーニング、トークン化、データセット内のクラス不均衡の処理を含む、包括的なデータ前処理を実施する。
• 解釈可能性技術を適用し、言語的トーン、明確さ、コンテンツがリスクスコアに与える影響を分析する。
• カテゴリカル変数のみを用いたモデルと、BERTリスクスコアを含めたモデルの性能を比較し、追加的価値を評価する。

実験結果

リサーチクエスチョン

• RQ1 微調整されたBERTモデルは、P2Pレンディングにおける非構造化のローン説明文から信用リスクの兆候を効果的に抽出できるか？
• RQ2 BERTが生成するリスクスコアは、従来の信用変数に比べてローンデフォルト予測にどの程度優れているか？
• RQ3 トーン、明確さ、構造といった言語的要因が、BERTリスクスコアにどの程度の影響を及ぼすか？
• RQ4 モデルの不透明性と潜在的なバイアスが、規制適合性およびユーザー信頼に与える影響は何か？
• RQ5 代替のLLMアーキテクチャやプロンプト戦略を用いることで、性能を向上させるとともに解釈可能性を高められるか？

主な発見

• BERTベースのリスクスコアは、XGBoost信用リスク分類器の性能を顕著に向上させ、カテゴリカル変数のみを用いたモデルを上回った。
• BERTスコア単体でも、人口統計的・金融的特徴に依存するモデルを上回る分類性能を達成した。
• 明確さ、自信、客観性が高まるほど言語的質の高いローン説明文は、低いリスクスコアを示す傾向にあり、良好な物書きのナラティブにバイアスがかかる可能性がある。
• 詳細で客観的かつ自信のある説明文の場合は、リスクスコアが常に0.4未満に保たれ、非デフォルト予測と整合的であった。
• 強力な性能を発揮しているものの、BERTのブラックボックス性により解釈性が制限されており、個々のスコアの背後にある要因は依然として不明瞭である。
• 本研究では、埋め込みとハイブリッドトピックモデリングを組み合わせたより透明な手法の開発が、LLMベースのリスク評価における説明可能性を向上させるために不可欠であると指摘した。