[論文レビュー] AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework

Xiang Li, Zhenyu Li+6 more|arXiv (Cornell University)|Mar 19, 2024

Stock Market Forecasting Methods被引用数 7

ひとこと要約

論文は AlphaFin データセットと Stock-Chain フレームワークを提示します。これは微調整済み StockGPT と retrieval-augmented generation を組み合わせ、株価トレンド予測と金融 Q&A の課題に取り組み、ARRと精度でベースラインを上回ります。

ABSTRACT

The task of financial analysis primarily encompasses two key areas: stock trend prediction and the corresponding financial question answering. Currently, machine learning and deep learning algorithms (ML&DL) have been widely applied for stock trend predictions, leading to significant progress. However, these methods fail to provide reasons for predictions, lacking interpretability and reasoning processes. Also, they can not integrate textual information such as financial news or reports. Meanwhile, large language models (LLMs) have remarkable textual understanding and generation ability. But due to the scarcity of financial training datasets and limited integration with real-time knowledge, LLMs still suffer from hallucinations and are unable to keep up with the latest information. To tackle these challenges, we first release AlphaFin datasets, combining traditional research datasets, real-time financial data, and handwritten chain-of-thought (CoT) data. It has a positive impact on training LLMs for completing financial analysis. We then use AlphaFin datasets to benchmark a state-of-the-art method, called Stock-Chain, for effectively tackling the financial analysis task, which integrates retrieval-augmented generation (RAG) techniques. Extensive experiments are conducted to demonstrate the effectiveness of our framework on financial analysis.

研究の動機と目的

• 金融分析タスクを正式に two tasks として定義する：株価トレンド予測と金融 Q&A。
• 従来データセット、リアルタイムデータ、および CoT データを組み合わせて FinLLMs を訓練する AlphaFin データセットを作成する。
• RAG を用いた Stock-Chain を提案し、誤生成を抑制し分析にリアルタイム情報を組み込む。
• 広範な実験とアブレーション研究を通じて Stock-Chain の有効性を示す。

提案手法

• LoRA を用いて AlphaFin データセット上で StockGPT を微調整し、株価トレンド予測と説明を提供する。
• Stage-1 株価トレンド予測：各企業の文書を取得してプロンプトを作成し、上昇/下降を予測する；上昇と予測されたインデックスを選択し、資本化加重ポートフォリオで ARR を算出する。
• Stage-2 金融 Q&A：ベクトル DB を構築し、粗い要約と RefGPT で知識を抽出し、類似性ベースの検索を実行し、Stage-2 データ上で StockGPT を微調整する；RAG 対応のプロンプトで回答を生成する。
• RAG 実装には BGE を用いたベクトル埋め込み、コサイン類似度検索、知識ベースの継続的更新を含む。
• 評価には Stage-1 の ARR、ACC、リスク指標；Stage-2 の ROUGE および人間/GPT-4 判断。

実験結果

リサーチクエスチョン

• RQ1 AlphaFin スケールの FinLLMs は retrieval-augmented generation と組み合わせると最先端の株価トレンド予測を達成できるか？
• RQ2 RAG を通じたリアルタイム知識の統合は、基準となる LLM に比べて金融 Q&A の質を向上させ、誤生成を減らせるか？
• RQ3 AlphaFin コンポーネント（データセット、CoT データ）の寄与は StockGPT と Stock-Chain の性能にどう影響するか？
• RQ4 Stock-Chain は ARR およびユーザーが感じる有効性の観点で、従来の ML/DL モデルや一般的な FinLLMs に対してどの程度優れているか？

主な発見

モデル	ARR ↑	AERR ↑	ANVOL ↓	SR ↑	MD ↓	CR ↑	MDD ↓	ACC ↑
SSE50	-1.0%	-2.7%	19.3%	-0.054	45.9%	-0.023	29	-
CSI 300	1.7%	0	18.2%	0.092	39.5%	0.043	30	-
SCI	3.9%	2.2%	14.8%	0.266	21.5%	0.183	19	-
CNX	7.6%	5.9%	26.5%	0.287	41.3%	0.185	20	-
Randomforest	9.8%	8.1%	19.5%	0.501	16%	0.608	22	55.5%
RNN	8.1%	6.4%	10.9%	0.742	15.7%	0.515	12	54.1%
BERT	10.7%	9.0%	16.1%	0.664	13.5%	0.852	14	51.4%
GRU	11.2%	9.5%	13.7%	0.814	14.6%	0.765	21	54.7%
LSTM	11.8%	10.1%	15.4%	0.767	15.3%	0.768	19	55.2%
Logistic	12.5%	10.8%	27.1%	0.463	32.5%	0.385	18	54.8%
XGBoost	13.1%	11.4%	20.5%	0.633	20.9%	0.619	17	55.9%
Decision Tree	13.4%	11.7%	19.6%	0.683	11.9%	1.126	20	55.1%
ChatGLM2	8.1%	6.4%	24.9%	0.324	62.6%	0.126	26	49.5%
ChatGPT(3.5Turbo)	14.3%	12.6%	27.7%	0.516	53.6%	0.267	23	51.4%
FinMa	15.7%	14.0%	37.1%	0.422	66.3%	0.236	25	49.1%
FinGPT	17.5%	15.8%	28.9%	0.605	55.5%	0.312	24	50.5%
Stock-Chain	30.8%	29.1%	19.6%	1.573	13.3%	2.314	10	55.7%

• Stock-Chain は AlphaFin-Test Stage-1 の評価モデルの中で最高の ARR（30.8%）と ACC（55.63%）を達成。
• 金融レポートと CoT データの両方で微調整を行うと、生データのみや単一コホートの微調整を上回り、株価トレンド予測の最良の結果を出す。
• RAG を用いた Stock-Chain は Stage-2 の ROUGE スコアが優れており（例: ROUGE-1 0.4352、ROUGE-2 0.3056、ROUGE-L 0.4031）、人間 GPT-4 の好み評価も高い。
• Stock-Chain は FinGPT や FinMA を含むベースラインに対して金融分析タスクで一貫して上回り、 ARR の大幅な改善と好ましい評価を得る。
• アブレーション研究により、News と Reports データの組み合わせが Stage-2 Q&A のパフォーマンス（ROUGE 指標と内容品質）を最も高めることが示された。