[論文レビュー] FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models

Yuwei Yin, Yazheng Yang+2 more|arXiv (Cornell University)|Jul 22, 2023

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いて表形式の財務データを自然言語による顧客プロファイルに変換し、そのプロファイルを基に基盤モデルを微調整する新しい手法FinPTを提案する。このアプローチにより、複数の財務リスクタスクにおいて、従来のベースラインと比較して一貫した性能向上が達成され、特にFlan-T5-Baseが、デフォルト、不正、離脱予測をカバーする新しいオープンソースベンチマークであるFinBenchにおいて最も優れた結果を示した。

ABSTRACT

Financial risk prediction plays a crucial role in the financial sector. Machine learning methods have been widely applied for automatically detecting potential risks and thus saving the cost of labor. However, the development in this field is lagging behind in recent years by the following two facts: 1) the algorithms used are somewhat outdated, especially in the context of the fast advance of generative AI and large language models (LLMs); 2) the lack of a unified and open-sourced financial benchmark has impeded the related research for years. To tackle these issues, we propose FinPT and FinBench: the former is a novel approach for financial risk prediction that conduct Profile Tuning on large pretrained foundation models, and the latter is a set of high-quality datasets on financial risks such as default, fraud, and churn. In FinPT, we fill the financial tabular data into the pre-defined instruction template, obtain natural-language customer profiles by prompting LLMs, and fine-tune large foundation models with the profile text to make predictions. We demonstrate the effectiveness of the proposed FinPT by experimenting with a range of representative strong baselines on FinBench. The analytical studies further deepen the understanding of LLMs for financial risk prediction.

研究の動機と目的

• 古くなったアルゴリズムと標準化されたベンチマークの欠如による財務リスク予測手法の停滞を解消すること。
• デフォルト、不正、離脱予測をカバーする統合的でオープンソースのベンチマーク（FinBench）を提案すること。
• 表形式データを自然言語プロファイルに変換することで、モデルの汎化性能を向上させる、プロファイル微調整フレームワークであるFinPTを開発すること。
• 多様な財務リスクタスクにおける基盤モデルに対するプロファイル微調整の有効性を評価し、強力なベースラインと比較すること。

提案手法

• カラム名と値を含む事前に定義された指示テンプレートに従って、表形式の財務データを自然言語による顧客プロファイルに変換する。
• 大規模言語モデル（例：GPT-2、LLaMA、Flan-T5）を用いて、テンプレート化されたデータから滑らかで整合性のあるプロファイル記述を生成する。
• バイナリリスク予測のための小さな全結合分類ヘッドを用いて、生成されたプロファイルテキスト上で基盤モデルを微調整する。
• クラスの不均衡に対処するため、ファーコンスロスを用いてエンドツーエンドでモデルを訓練し、リスクの高い（正例の）インスタンスの正しく予測することを優先する。
• FinBenchのすべてのデータセットを統合してトレーニングすることで、汎化性能とモデルの頑健性を向上させる。
• 完全な微調整と比較するため、イン・コンテキスト学習やインstructチューニングなどの代替戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 表形式の財務データを自然言語プロファイルに変換することで、基盤モデルの財務リスク予測タスクにおける性能が向上するか？
• RQ2 LLMにおけるプロファイルチューニングは、従来の表形式分類モデル（例：XGBoost、ランダムフォレスト）と比較して、財務リスク予測においてどのように異なるか？
• RQ3 複数の財務リスクデータセット（デフォルト、不正、離脱）を統合してトレーニングすることで、モデルの汎化性能と性能が向上するか？
• RQ4 異なる基盤モデル（例：Flan-T5、LLaMA、GPT-2）はFinPTフレームワーク下でどのように性能を発揮するか？また、インstructチューニングの役割は何か？
• RQ5 この設定において、イン・コンテキスト学習やインstructチューニングのみで、完全な微調整と同等の結果が得られるか？

主な発見

• FinPTは、FinBenchのすべてのデータセットにおいて、XGBoost、ランダムフォレスト、DeepFM、TabNetといった強力なベースラインを著しく上回り、F1スコアの向上が一貫して見られた。
• Flan-T5-Baseは、すべてのバックボーンモデルの中で最も優れた性能を示し、一部のケースでは13Bパラメータを持つLLaMA-13Bでさえも上回った。これは、インstructチューニングの価値を示している。
• プロファイルチューニングを用いてすべてのデータセットを統合してトレーニングすることで、一貫した性能向上が得られ、特に低性能なcf2データセットで最大の改善が観察された。
• LLaMA-13Bでさえ、最後のデコーダー層のみを微調整する場合でも強力な結果を達成しており、FinPTアプローチの効率性と有効性を示している。
• イン・コンテキスト学習やインストラクションチューニングのみではF1スコアが低い（<10）結果となったが、人間の解釈を支援する有用で説明可能な根拠を生成した。
• GPT-2はBERTベースのモデルを大きく上回り、最後のトークン予測を特徴とするデコーダー専用アーキテクチャが、この分類タスクに適している可能性を示唆している。