[論文レビュー] FinLlama: Financial Sentiment Classification for Algorithmic Trading Applications

Thanos Konstantinidis, Giorgos Iacovides+3 more|arXiv (Cornell University)|Mar 18, 2024

Stock Market Forecasting Methods被引用数 5

ひとこと要約

FinLlama は LoRA で Llama 2 7B を金融データに適用し、取引のための感情強度を分類。限られたリソースで金融特化のポートフォリオ改善を実現。

ABSTRACT

There are multiple sources of financial news online which influence market movements and trader's decisions. This highlights the need for accurate sentiment analysis, in addition to having appropriate algorithmic trading techniques, to arrive at better informed trading decisions. Standard lexicon based sentiment approaches have demonstrated their power in aiding financial decisions. However, they are known to suffer from issues related to context sensitivity and word ordering. Large Language Models (LLMs) can also be used in this context, but they are not finance-specific and tend to require significant computational resources. To facilitate a finance specific LLM framework, we introduce a novel approach based on the Llama 2 7B foundational model, in order to benefit from its generative nature and comprehensive language manipulation. This is achieved by fine-tuning the Llama2 7B model on a small portion of supervised financial sentiment analysis data, so as to jointly handle the complexities of financial lexicon and context, and further equipping it with a neural network based decision mechanism. Such a generator-classifier scheme, referred to as FinLlama, is trained not only to classify the sentiment valence but also quantify its strength, thus offering traders a nuanced insight into financial news articles. Complementing this, the implementation of parameter-efficient fine-tuning through LoRA optimises trainable parameters, thus minimising computational and memory requirements, without sacrificing accuracy. Simulation results demonstrate the ability of the proposed FinLlama to provide a framework for enhanced portfolio management decisions and increased market returns. These results underpin the ability of FinLlama to construct high-return portfolios which exhibit enhanced resilience, even during volatile periods and unpredictable market events.

研究の動機と目的

• 金融テキストからの感情シグナルを実際の取引決定に結びつける。
• 最小リソースで一般目的の LLM を用いた金融特化感情分析器を開発する。
• 感情出力を長短ポートフォリオに統合し、実世界の指標を評価する。
• ターゲットを絞ったファインチューニングが、計算資源を抑えつつ金融重視のベースラインを上回ることを示す。

提案手法

• SoftMax 分類器で正/負/中立を識別する、合計 34,180 サンプルの4つのラベル付き金融テキストデータセットで Llama 2 7B をファインチューニング。
• パラメータ効率的ファインチューニング（LoRA）を適用し、訓練可能パラメータを約 4.2M（モデルの 0.0638%）に維持。
• 小さな学習率と正規化（ウォームアップ、ウェイト減衰）を用いた AdamW を 5 エポックで。
• 単一の A100 GPU で動作するよう訓練を量子化/簡略化。
• 感情シグナルを 35% の長短ポートフォリオへ組み込み、FinBERT および辞書ベース法と実世界指標で比較。
• 417社 universe と 1,672 trading days で、5 種の感情手法とベンチマーク。）

実験結果

リサーチクエスチョン

• RQ1 金融特化の感情分析はアルゴリズム取引のために LLM で効果的に調整できるか？
• RQ2 パラメータ効率的ファインチューニングは modest hardware で金融調整済み LLM の性能を損なわずに可能か？
• RQ3 FinLlama 由来の感情シグナルは既存手法と比較して実世界のポートフォリオ指標を改善するか？

主な発見

累積リターン (%)	年間リターン (%)	シャープレシオ	年間ボラティリティ (%)
204.6	29.1	1.5	19.5
100.4	13.5	0.7	18.9
130.6	17.9	0.9	19.6
213.0	30.3	1.5	20.3
308.2	45.0	2.4	18.6
83.1	11.3	0.62	18.5

• FinLlama は FinBERT を含むすべてのベースラインより高い累積リターンとシャープレシオを達成。
• FinLlama は FinBERT および辞書ベース法と比較して年間リターンが高く、年間ボラティリティは低い。
• 深層学習アプローチは辞書ベース手法より累積リターンで優れ、特にボラティリティが高い期間に最も強い性能を示す（例：2020年前半）。
• FinLlama を用いた 35% 長短ポートフォリオは累積リターン 308.2%、FinBERT 213.0%、S&P 500 83.1% に対して達成。
• FinLlama のシャープレシオ 2.4、年率ボラ 18.6%、FinBERT の 1.5、ボラ 20.3% を上回る。