[论文解读] FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models

Yuwei Yin, Yazheng Yang+2 more|arXiv (Cornell University)|Jul 22, 2023

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出FinPT，一种用于金融风险预测的新方法，通过大型语言模型（LLMs）将表格化金融数据转换为自然语言客户档案，再对基础模型在这些档案上进行微调，以提升分类性能。该方法在多个金融风险预测任务中持续优于传统基线模型，其中Flan-T5-Base在FinBench（一个用于违约、欺诈和流失预测的新开源基准）上表现最佳。

ABSTRACT

Financial risk prediction plays a crucial role in the financial sector. Machine learning methods have been widely applied for automatically detecting potential risks and thus saving the cost of labor. However, the development in this field is lagging behind in recent years by the following two facts: 1) the algorithms used are somewhat outdated, especially in the context of the fast advance of generative AI and large language models (LLMs); 2) the lack of a unified and open-sourced financial benchmark has impeded the related research for years. To tackle these issues, we propose FinPT and FinBench: the former is a novel approach for financial risk prediction that conduct Profile Tuning on large pretrained foundation models, and the latter is a set of high-quality datasets on financial risks such as default, fraud, and churn. In FinPT, we fill the financial tabular data into the pre-defined instruction template, obtain natural-language customer profiles by prompting LLMs, and fine-tune large foundation models with the profile text to make predictions. We demonstrate the effectiveness of the proposed FinPT by experimenting with a range of representative strong baselines on FinBench. The analytical studies further deepen the understanding of LLMs for financial risk prediction.

研究动机与目标

• 解决由于算法过时和缺乏标准化基准导致的金融风险预测方法停滞不前的问题。
• 提出一个统一的、开源的基准（FinBench），涵盖违约、欺诈和流失预测的金融风险预测。
• 开发FinPT，一种利用LLMs将表格数据转换为自然语言档案以提升模型泛化能力的档案微调框架。
• 评估在多种金融风险任务中，对基础模型进行档案微调的有效性，并与强基线模型进行比较。

提出的方法

• 通过使用列名和值填充预定义的指令模板，将表格化金融数据转换为自然语言客户档案。
• 使用大型语言模型（如GPT-2、LLaMA、Flan-T5）从模板化数据生成流畅且连贯的档案描述。
• 在生成的档案文本上对大型基础模型进行微调，使用小型前馈分类头进行二元风险预测。
• 采用焦点损失进行端到端训练，以处理类别不平衡问题，优先确保对高风险（正样本）的正确预测。
• 通过在FinBench的所有数据集上联合训练，提升模型泛化能力和鲁棒性。
• 探索其他策略（如上下文学习和指令微调）以与完整微调进行比较。

实验结果

研究问题

• RQ1 将表格化金融数据转化为自然语言档案，是否能提升基础模型在金融风险预测任务中的性能？
• RQ2 在金融风险预测中，LLM上的档案微调与传统表格分类模型（如XGBoost、随机森林）相比表现如何？
• RQ3 在多个金融风险数据集（违约、欺诈、流失）上联合训练是否能提升模型的泛化能力和性能？
• RQ4 在FinPT框架下，不同基础模型（如Flan-T5、LLaMA、GPT-2）的表现如何？指令微调起到了什么作用？
• RQ5 在该设置下，仅使用上下文学习或指令微调是否能获得与完整微调相当的性能？

主要发现

• FinPT在FinBench的所有数据集上显著优于XGBoost、随机森林、DeepFM和TabNet等强基线模型，F1分数持续提升。
• Flan-T5-Base在所有主干模型中表现最佳，甚至在某些情况下优于更大的模型（如LLaMA-13B），凸显了指令微调的价值。
• 通过档案微调在所有数据集上联合训练，带来了持续的性能提升，尤其在表现较差的cf2数据集上提升最大。
• 即使仅微调LLaMA-13B的最后解码器层，也能获得优异结果，证明了FinPT方法的高效性和有效性。
• 仅使用上下文学习或指令微调时，F1分数较低（<10），但能生成有用且可解释的推理过程，有助于人类理解。
• GPT-2的表现远超BERT类模型，表明仅解码器架构结合最后标记预测更适合此类分类任务。