[論文レビュー] Aligning LLMs with Human Instructions and Stock Market Feedback in Financial Sentiment Analysis

Zhao Zhang, Roy E. Welsch|arXiv (Cornell University)|Oct 19, 2024

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本稿では、株式市場のフィードバックに応じて知識ソースの重みを動的に調整する適応的リtrieval-augmented LLMフレームワークを提案する。この手法により、金融センチメント分析の精度が向上する。指令微調整、RAG、および直接的／強化学習ベースの重み最適化を用いてLLaMA 2モデルを微調整することで、1–6%の高い正解率とF1スコアを達成し、ブルマーケットではS&P 500を上回る3.61%のSharpe比を示すセンチメント駆動型ポートフォリオを生成する。一方、ベアマーケットでは最大下落幅を5倍低減する。

ABSTRACT

Financial sentiment analysis is crucial for trading and investment decision-making. This study introduces an adaptive retrieval augmented framework for Large Language Models (LLMs) that aligns with human instructions through Instruction Tuning and incorporates market feedback to dynamically adjust weights across various knowledge sources within the Retrieval-Augmented Generation (RAG) module. Building upon foundational models like LLaMA 2, we fine-tune a series of LLMs ranging from 7B to 70B in size, enriched with Instruction Tuning and RAG, and further optimized through direct feedback and Reinforcement Learning (RL)-based refinement methods applied to the source weights of RAG.Through extensive evaluation, we demonstrate that the sentiment outputs from our LLMs more accurately mirror the intrinsic sentiment of textual data, showcasing a 1% to 6% boost in accuracy and F1 score over existing state-of-the-art models and leading conversational AI systems. Moreover, the sentiments extracted are more indicative of the directions in stock price movements. On top of that, we successfully construct portfolios that yield a 3.61% higher Sharpe ratio compared to the S&P 500 baseline in bullish markets. These portfolios also demonstrate resilience in bearish markets, with a 5x reduction in return losses compared to those typically experienced by the S&P 500.

研究の動機と目的

• 実世界の市場フィードバックにLLMを一致させることで、センチメント出力の予測精度を向上させるために、金融センチメント分析を改善すること。
• 静的RAG重み付けの限界を克服し、知識ソースの寄与度に応じた動的でフィードバック駆動の適応を導入すること。
• モデル規模（7Bから70Bパラメータ）が金融文脈におけるセンチメント分析性能に与える影響を調査すること。
• 市場リターンに一致するセンチメント予測が、優れた取引シグナルおよびポートフォリオパフォーマンスを生成できるかどうかを評価すること。
• 今後の研究において、キーワードベースのリトリーブを避けるために、セマンティック検索の統合を検討すること。

提案手法

• 推論時におけるLLMの文脈を強化するために、複数の外部知識ソースを用いたリトリーブ・オーバーラップ生成（RAG）をフレームワークが採用する。
• RAGにおける知識ソースの重みは、その後の株価動向に基づき、直接的フィードバックまたは強化学習（RL）を用いて動的に調整される。
• 7Bから70BパラメータのLLaMA 2バージョン（大規模言語モデル）は、指令微調整およびRAGを用いて、金融センチメント理解を向上させるために微調整される。
• 市場フィードバックはRAG重みの最適化に報酬信号として用いられ、時間経過とともにセンチメント予測を改善する長期フィードバックループを形成する。
• システムはセンチメント出力を実際の市場リターンと照合し、情報ソースの重み付けを段階的に最適化する。
• 今後の統合を想定して、キーワードベースのリトリーブに代わるセマンティック検索の能力を提案する。

実験結果

リサーチクエスチョン

• RQ1 複数の知識ソースに対して、適応的かつ非一様な重み付けをRAGモジュールに組み込み、実世界の市場フィードバックに基づいて重みを更新する方法は何か？
• RQ2 モデルサイズの増大が、金融センチメント分析におけるLLMパフォーマンスに与える影響は何か？
• RQ3 市場フィードバックに一致するLLMは、近い将来の株価動向をより正確に反映するセンチメント予測を生成できるか？
• RQ4 直接的フィードバックとRLベースの重み最適化は、金融センチメントタスクにおけるRAGパフォーマンス最適化において、どのように比較されるか？
• RQ5 市場フィードバックに一致するLLMからのセンチメント出力は、測定可能なリスク調整リターンを示す優れた取引戦略を生成できるか？

主な発見

• LLaMA I-RAG-RLモデルは、ブルマーケットでSharpe比2.3557を達成し、S&P 500ベースライン（2.2736）を3.61%上回った。
• ブルマーケットでは、すべてのLLaMAポートフォリオがS&P 500ベースラインを上回る累積リターンを示し、最も高度なモデルが最も優れたリスク調整パフォーマンスを示した。
• ベアマーケット（2022年）では、LLaMAポートフォリオがS&P 500と比較して最大下落幅を5倍低減し、市場の下落期における回復力が確認された。
• 最適化されたモデルからのセンチメント出力は、最先端のモデルおよび主要な会話型AIシステムと比較して、正解率とF1スコアで1%から6%の向上を示した。
• RAG重み最適化に直接的フィードバックを用いる方法は非常に効果的であり、特にボラティリティの高い状況下では、RLベースの最適化がさらにパフォーマンスを向上させた。
• 最適化されたLLMからのセンチメント予測は、翌日の株価動向をより予測可能に示しており、市場に一致する最適化の価値が裏付けられた。