[논문 리뷰] FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models

Yuwei Yin, Yazheng Yang외 2명|arXiv (Cornell University)|2023. 07. 22.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용해 표 형태의 재무 데이터를 자연어 기반 고객 프로필로 변환한 후, 이러한 프로필을 기반으로 기초 모델을 미세조정하는 새로운 방법인 FinPT를 제안한다. 이는 다양한 재무 리스크 예측 작업에서 기존의 기준 모델들보다 일관된 성능 향상을 이룬다. 특히 Flan-T5-Base는 새로운 오픈소스 벤치마크인 FinBench에서 최고의 성능을 보였다. FinBench는 연체, 사기, 이탈 예측을 위한 벤치마크이다.

ABSTRACT

Financial risk prediction plays a crucial role in the financial sector. Machine learning methods have been widely applied for automatically detecting potential risks and thus saving the cost of labor. However, the development in this field is lagging behind in recent years by the following two facts: 1) the algorithms used are somewhat outdated, especially in the context of the fast advance of generative AI and large language models (LLMs); 2) the lack of a unified and open-sourced financial benchmark has impeded the related research for years. To tackle these issues, we propose FinPT and FinBench: the former is a novel approach for financial risk prediction that conduct Profile Tuning on large pretrained foundation models, and the latter is a set of high-quality datasets on financial risks such as default, fraud, and churn. In FinPT, we fill the financial tabular data into the pre-defined instruction template, obtain natural-language customer profiles by prompting LLMs, and fine-tune large foundation models with the profile text to make predictions. We demonstrate the effectiveness of the proposed FinPT by experimenting with a range of representative strong baselines on FinBench. The analytical studies further deepen the understanding of LLMs for financial risk prediction.

연구 동기 및 목표

• 오래된 알고리즘과 표준화된 벤치마크 부족으로 인해 재무 리스크 예측 방법의 성장 정체를 해결하기 위해.
• 연체, 사기, 이탈 예측을 모두 포함하는 통합형 오픈소스 벤치마크(FinBench)를 제안하기 위해.
• 표 형태의 데이터를 자연어 프로필로 변환함으로써 모델 일반화 능력을 향상시키는 데 초점을 맞춘 프로필 튜닝 프레임워크인 FinPT를 개발하기 위해.
• 다양한 재무 리스크 작업에서 기초 모델에 대한 프로필 튜닝의 효과를 평가하고 강력한 기준 모델들과 비교하기 위해.

제안 방법

• 열 이름과 값으로 구성된 사전 정의된 지침 템플릿에 데이터를 채워 표 형태의 재무 데이터를 자연어 기반 고객 프로필로 변환한다.
• 대규모 언어 모델(GPT-2, LLaMA, Flan-T5 등)을 사용해 템플릿 기반 데이터에서 유창하고 일관성 있는 프로필 기술을 생성한다.
• 이를 바탕으로 생성된 프로필 텍스트를 사용해 기초 모델을 미세조정하며, 이진 리스크 예측을 위한 소규모 피드포워드 분류기 헤드를 적용한다.
• 클래스 불균형 문제를 다루기 위해 포지티브(위험) 인스턴스의 정확한 예측을 우선시하는 포칼 손실을 사용해 모델을 종합적으로 훈련한다.
• FinBench의 모든 데이터셋을 통합해 훈련함으로써 일반화 능력과 모델의 강건성을 향상시킨다.
• 전체 미세조정과 비교하기 위해 인라인 학습 및 지시 미세조정과 같은 대안 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 표 형태의 재무 데이터를 자연어 기반 프로필로 변환하는 것이 기초 모델의 재무 리스크 예측 성능을 향상시키는가?
• RQ2 LLM에 대한 프로필 튜닝은 기존의 표 형태 분류 모델(XGBoost, Random Forest 등)과 비교해 재무 리스크 예측에서 어떻게 성능을 내는가?
• RQ3 여러 재무 리스크 데이터셋(연체, 사기, 이탈)을 동시에 훈련함으로써 일반화 능력과 성능이 향상되는가?
• RQ4 다양한 기초 모델(Flan-T5, LLaMA, GPT-2 등)은 FinPT 프레임워크에서 어떻게 성능을 내며, 지시 미세조정은 어떤 역할을 하는가?
• RQ5 이 설정에서 전체 미세조정과 비교해 인라인 학습 또는 지시 미세조정만으로도 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• FinPT는 FinBench의 모든 데이터셋에서 XGBoost, Random Forest, DeepFM, TabNet과 같은 강력한 기준 모델들을 뛰어넘는 성능을 보이며, 일관된 F1 점수 향상을 보였다.
• Flan-T5-Base는 모든 백본 모델 중에서 가장 뛰어난 성능을 보였으며, 일부 경우에서 LLaMA-13B와 같은 더 큰 모델들조차도 뛰어넘었다. 이는 지시 미세조정의 가치를 입증한다.
• FinBench의 모든 데이터셋을 통합해 프로필 튜닝 방식으로 훈련함으로써 일관된 성능 향상이 이루어졌으며, 특히 성능이 낮았던 cf2 데이터셋에서 가장 큰 향상이 관찰되었다.
• LLaMA-13B는 마지막 디코더 레이어만 미세조정해도 강력한 성능을 내었으며, 이는 FinPT 접근법의 효율성과 효과성을 보여준다.
• 인라인 학습과 지시 미세조정만으로는 F1 점수가 10 이하로 낮게 나왔지만, 인간이 해석할 수 있는 유의미한 근거를 생성해 냈으며, 이는 인간의 해석을 지원하는 데 유용했다.
• GPT-2는 BERT 기반 모델들보다 크게 뛰어난 성능을 보였으며, 이는 마지막 토큰 예측 방식을 채택한 디코더 전용 아키텍처가 이 분류 작업에 더 적합하다는 것을 시사한다.