[論文レビュー] Beyond Classification: Financial Reasoning in State-of-the-Art Language Models

Guijin Son, Hanearl Jung+3 more|arXiv (Cornell University)|Apr 30, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本論文は、最先端の言語モデルの財務的推論能力を調査し、新しいタスクである『財務的投資意見生成（FIOG）』を導入し、指令微調整あり・なしのGPT変種（2.8B〜13Bパラメータ）をベンチマーク化している。6Bパラメータで一貫性のある財務的推論が出現し、指令微調整とより大きなデータセットによって向上することが判明。また、11,802件の合成投資 Thesis のサンプルを含む公開可能な sFIOG データセットを提供している。

ABSTRACT

Large Language Models (LLMs), consisting of 100 billion or more parameters, have demonstrated remarkable ability in complex multi-step reasoning tasks. However, the application of such generic advancements has been limited to a few fields, such as clinical or legal, with the field of financial reasoning remaining largely unexplored. To the best of our knowledge, the ability of LLMs to solve financial reasoning problems has never been dealt with, and whether it can be performed at any scale remains unknown. To address this knowledge gap, this research presents a comprehensive investigation into the potential application of LLMs in the financial domain. The investigation includes a detailed exploration of a range of subjects, including task formulation, synthetic data generation, prompting methods, and evaluation capability. Furthermore, the study benchmarks various GPT variants with parameter scales ranging from 2.8B to 13B, with and without instruction tuning, on diverse dataset sizes. By analyzing the results, we reveal that the ability to generate coherent financial reasoning first emerges at 6B parameters, and continues to improve with better instruction-tuning or larger datasets. Additionally, the study provides a publicly accessible dataset named sFIOG (Synthetic-Financial Investment Opinion Generation), consisting of 11,802 synthetic investment thesis samples, to support further research in the field of financial reasoning. Overall, this research seeks to contribute to the understanding of the efficacy of language models in the field of finance, with a particular emphasis on their ability to engage in sophisticated reasoning and analysis within the context of investment decision-making.

研究の動機と目的

• 大規模言語モデル（LLM）が分類タスクを超えた複雑な財務的推論を実行できるかどうかを調査すること。
• 複数ステップの論理的・数値的推論を要する、新しい財務的推論タスク「財務的投資意見生成（FIOG）」の開発と評価。
• モデルサイズ、指令微調整、データセット規模が財務的推論パフォーマンスに与える影響を評価すること。
• 制御された財務的意見生成のための新しいプロンプティング手法、『文脈内質問応答（In-Context Question Answering）』を導入すること。
• 今後の財務的言語モデリング研究を支援するため、公開可能な合成データセット（sFIOG）を提供すること。

提案手法

• 財務データおよび企業情報に基づき、一貫性があり説得力のある投資 Thesis を生成する必要がある、新しいタスク「財務的投資意見生成（FIOG）」を提案。
• 文脈に忠実で構造的な財務的意見を生成するようにモデルを誘導するため、『文脈内質問応答』と呼ばれる新しいプロンプティング技術を開発。
• LLM を用いて、多様な企業と財務的シナリオをカバーする 11,802 件の投資 Thesis サンプルを含む合成データセット sFIOG を生成。
• FIOG タスクにおいて、指令微調整あり・なしの複数の GPT 変種（2.8B〜13B パラメータ）を、さまざまなデータセットサイズでベンチマーク化。
• ROUGE-L と人間の好み評価を用いてモデルのパフォーマンスを評価し、LLM を用いた評価者（G-Eval）と人間の判断を比較。
• モデルサイズ、トレーニングステップ、データ構成のアブレーションスタディを実施し、スケールと微調整の推論品質への影響を明確化。

実験結果

リサーチクエスチョン

• RQ1 最先端の言語モデルにおいて、一貫性のある財務的推論が最初に出現するのはどのモデルサイズか？
• RQ2 指令微調整されたモデルは、非指令微調整モデルと比較して、財務的推論タスクでどのように性能を発揮するか？
• RQ3 データセットサイズとトレーニングステップは、財務的投資意見生成の質にどのような影響を与えるか？
• RQ4 LLM を用いた評価者（例：G-Eval）は、人間の判断とどれほど一致するか？
• RQ5 文脈内プロンプティング技術は、生成された投資 Thesis の一貫性と事実の整合性を向上させることができるか？

主な発見

• 一貫性のある財務的推論の生成能力は、6B パラメータで最初に出現し、13B パラメータまで徐々に向上する。
• すべてのサイズにおいて、指令微調整済みモデルが非指令微調整モデルを上回る性能を示し、微調整が推論品質を顕著に向上させることを示している。
• 既知の企業に関するタイプ#2の Q&A ペアでは、未知の企業に関するタイプ#3の Q&A ペアよりも性能が低く、トレーニング中に得た非定常的知識が一般化を妨げている可能性を示唆している。
• 最高のパフォーマンスを示したモデル、指令微調整済み LLaMA 13B は、1,502 サンプルの小さなデータセットでも優れた結果を達成しており、モデルサイズがデータセットサイズよりも重要である可能性を示している。
• 人間の好み評価では LLaMA が最も好まれるモデルと評価され、次に GPT-J が続いた。これは自動化された指標の結果と整合しており、信頼性を裏付けている。
• 本研究は、LLM を用いた評価者（G-Eval）と人間の評価者との間で、財務的テキストの質を評価する際に顕著な不一致が生じていることを明らかにした。これは、財務的推論における自動評価の限界を示している。