[논문 리뷰] Credit Risk Meets Large Language Models: Building a Risk Indicator from Loan Descriptions in P2P Lending

Mario Sanz-Guerrero, Javier Arroyo|arXiv (Cornell University)|2024. 01. 29.

FinTech, Crowdfunding, Digital FinanceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 대출자 제공한 대출 설명을 분석하기 위해 대규모 언어 모델인 BERT를 활용하여 P2P 대출의 새로운 신용 리스크 스코링 방법을 제안한다. 전이 학습을 통해 미세조정된 모델은 리스크 스코어를 생성하며, 이는 전통적인 변수만을 사용하는 모델보다 유의미하게 향상된 신용 리스크 분류 성능을 보이며, 해석 가능성과 편향 문제는 여전히 핵심 과제로 남아 있다.

ABSTRACT

Peer-to-peer (P2P) lending connects borrowers and lenders through online platforms but suffers from significant information asymmetry, as lenders often lack sufficient data to assess borrowers' creditworthiness. This paper addresses this challenge by leveraging BERT, a Large Language Model (LLM) known for its ability to capture contextual nuances in text, to generate a risk score based on borrowers' loan descriptions using a dataset from the Lending Club platform. We fine-tune BERT to distinguish between defaulted and non-defaulted loans using the loan descriptions provided by the borrowers. The resulting BERT-generated risk score is then integrated as an additional feature into an XGBoost classifier used at the loan granting stage, where decision-makers have limited information available to guide their decisions. This integration enhances predictive performance, with improvements in balanced accuracy and AUC, highlighting the value of textual features in complementing traditional inputs. Moreover, we find that the incorporation of the BERT score alters how classification models utilize traditional input variables, with these changes varying by loan purpose. These findings suggest that BERT discerns meaningful patterns in loan descriptions, encompassing borrower-specific features, specific purposes, and linguistic characteristics. However, the inherent opacity of LLMs and their potential biases underscore the need for transparent frameworks to ensure regulatory compliance and foster trust. Overall, this study demonstrates how LLM-derived insights interact with traditional features in credit risk modeling, opening new avenues to enhance the explainability and fairness of these models.

연구 동기 및 목표

• 비구조화된 대출 설명에서 신용 리스크 신호를 추출하여 P2P 대출의 정보 비대칭 문제를 해결하기 위해.
• BERT와 같은 대규모 언어 모델이 기존 변수를 초월해 신용 리스크 분류 성능을 향상시킬 수 있는지 평가하기 위해.
• 수동 애너테이션 또는 주관적 레이블링 없이도 확장 가능하고 자동화된 리스크 스코링 시스템을 개발하기 위해.
• 언어적 특징과 콘텐츠 품질이 생성된 리스크 스코어에 어떤 영향을 미치는지 평가하기 위해.
• LLM 기반 신용 평가에서의 해석 가능성, 편향, 규제 준수와 관련된 주요 과제를 규명하기 위해.

제안 방법

• Lending Club 데이터셋을 기반으로 전이 학습을 통해 BERT를 미세조정하여 대출 설명을 만기 또는 비만기로 분류하기 위해.
• BERT의 최종 레이어 분류 헤드에서 연속적인 리스크 스코어를 각 대출 설명에서 추출하기 위해.
• BERT가 생성한 리스크 스코어를 XGBoost 기반의 신용 리스크 분류기의 특징으로 통합하기 위해.
• 텍스트 정제, 토큰화, 데이터셋 내 클래스 불균형 처리를 포함한 철저한 데이터 전처리 수행하기 위해.
• 언어적 톤, 명확성, 콘텐츠가 리스크 스코어에 미치는 영향을 분석하기 위해 설명 가능성 기법 적용하기 위해.
• 범주형 변수만 사용하는 경우와 BERT 리스크 스코어를 포함하는 경우의 모델 성능를 비교하여 추가 가치 평가하기 위해.

실험 결과

연구 질문

• RQ1 미세조정된 BERT 모델은 P2P 대출에서 비구조화된 대출 설명에서 효과적으로 신용 리스크 신호를 추출할 수 있는가?
• RQ2 BERT가 생성한 리스크 스코어는 전통적인 신용 변수보다 대출 만기 예측에 더 나은 성능을 보이는가?
• RQ3 언어적 요소들, 예를 들어 톤, 명확성, 문장 구조 등이 BERT 리스크 스코어에 어느 정도의 영향을 미치는가?
• RQ4 모델의 투명성 부족과 잠재적 편향은 규제 준수와 사용자 신뢰에 어떤 영향을 미치는가?
• RQ5 다른 LLM 아키텍처나 프롬프팅 전략은 성능 향상과 함께 해석 가능성 증가에 기여할 수 있는가?

주요 결과

• BERT 기반 리스크 스코어는 XGBoost 기반 신용 리스크 분류기의 성능을 유의미하게 향상시키며, 단지 범주형 변수만을 사용하는 모델보다 뛰어난 성능을 보였다.
• BERT 스코어 자체만으로도 인구통계학적 및 금융적 특징에 의존하는 모델보다 뛰어난 분류 성능을 달성했다.
• 명확성, 자신감, 객관성이 높은 언어적 품질을 지닌 대출 설명은 일반적으로 낮은 리스크 스코어를 받았으며, 이는 잘 쓰인 서술문에 대한 편향이 있음을 시사한다.
• 세부적이고 객관적이며 자신감 있는 서술을 가진 대출의 경우, 모델의 리스크 스코어는 항상 0.4 이하로 유지되었으며, 이는 만기되지 않을 것이라는 예측과 일치했다.
• 강력한 성능에도 불구하고 BERT의 블랙박스 성격은 해석 가능성을 제한하며, 개별 스코어의 정확한 원인은 여전히 투명하지 않다.
• 본 연구는 LLM 기반 리스크 평가의 해석 가능성 향상을 위해 하이브리드 토픽 모델링과 임베딩 기반 접근법과 같은 더 투명한 방법의 필요성을 규명했다.