[論文レビュー] Chinese Fine-Grained Financial Sentiment Analysis with Large Language Models

Yinyu Lan, Yanru Wu+3 more|arXiv (Cornell University)|Jun 25, 2023

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿では、11,036件のニュース記事、8,739社の企業、190種類の警告タイプ、21,272件のセンチメントアノテーションを備えた大規模な中国語ファイナンシャルセンチメント分析データセット「FinChina SA」を紹介する。インstructベースおよび会話ベースのファインチューニングを用いてオープンソースLLMの性能を評価した結果、中国語LLaMA Plusが75.99%の正確度を達成し、BLOOMZ や ChatGLM よりも優れた性能を示した。一方、ChatGPTはドメイン特化した金融分野の知識が不足しているため、ゼロショット設定では性能を発揮できなかった。

ABSTRACT

Entity-level fine-grained sentiment analysis in the financial domain is a crucial subtask of sentiment analysis and currently faces numerous challenges. The primary challenge stems from the lack of high-quality and large-scale annotated corpora specifically designed for financial text sentiment analysis, which in turn limits the availability of data necessary for developing effective text processing techniques. Recent advancements in large language models (LLMs) have yielded remarkable performance in natural language processing tasks, primarily centered around language pattern matching. In this paper, we propose a novel and extensive Chinese fine-grained financial sentiment analysis dataset, FinChina SA, for enterprise early warning. We thoroughly evaluate and experiment with well-known existing open-source LLMs using our dataset. We firmly believe that our dataset will serve as a valuable resource to advance the exploration of real-world financial sentiment analysis tasks, which should be the focus of future research. The FinChina SA dataset is publicly available at https://github.com/YerayL/FinChina-SA

研究の動機と目的

• 中国語ファイナンシャルセンチメント分析のための高品質で大規模なアノテート済みコーパスの不足に対処すること。
• 金融分野におけるエンティティレベルでファイングレインドセンチメント分析のベンチマークデータセットを構築すること。
• オープンソースLLMおよびChatGPTがゼロショットおよびファインチューニング設定で金融センチメントタスクに果たす効果を評価すること。
• インstructベースおよび会話ベースのファインチューニングが金融NLPタスクに与える可能性と性能を調査すること。
• 一般用途のLLM（例：ChatGPT）がドメイン特化した金融センチメント理解において抱える限界を同定すること。

提案手法

• 中国主要金融ウェブサイトから収集・クリーニングした金融ニュースをもとに、FinChina SAデータセットを構築した。
• 各記事に対して企業名、センチメント極性、警告タイプをアノテートし、合計21,272件のセンチメント例を生成した。
• 単一ターンQAフォーマットを用いたインstructベースファインチューニングと、複数ターン対話テンプレートを用いた会話ベースファインチューニングを実施した。
• ChatGPTを用いたゼロショットプロンプティングを実施し、センチメント分類および警告タイプ検出タスクにおける性能を比較評価した。
• P-tuning v2のような効率的なパラメータチューニング手法を適用してメモリ使用量を削減したが、性能の低下を伴った。
• 複数ターンQAファインチューニングでは、ターンベースのプロンプティング戦略を採用し、前回の入力にモデルの出力を追加して次のラウンドに移行した。

実験結果

リサーチクエスチョン

• RQ1 オープンソースLLMは中国語ファイナンシャルセンチメント分析において、ゼロショットおよびファインチューニング設定でどの程度効果的か？
• RQ2 インストラクションベースおよび会話ベースのファインチューニングは、金融センチメント分類タスクの性能向上に寄与するか？
• RQ3 ChatGPTは一般NLP能力に優れているにもかかわらず、なぜ金融センチメント分析では性能を発揮できないのか？
• RQ4 ドメイン特化した事前学習が、金融テキスト理解タスクにおけるLLM性能をどの程度向上させるか？
• RQ5 単一ターンデータを複数ターン対話フォーマットに変換することで、金融センチメントタスクにおけるモデル性能が向上するか？

主な発見

• 中国語LLaMA Plusが75.99%の最高センチメント分類正確度を達成し、BLOOMZ（75.52）および ChatGLM（74.46）を上回った。
• ChatGPTはゼロショット設定で著しく低い性能を示し、金融分野特有の表現やセンチメント知識に対する理解が不足していることが示された。
• ファインチューニングされたLLMはLongformerモデルを著しく上回り、金融NLPタスクへのトランスファーラーニングの有効性が裏付けられた。
• テンプレート変換による複数ターンデータを用いた会話ベースファインチューニングでは、繰り返しや誤った出力が生じ、インストラクションベースファインチューニングに比べて効果が低いことが示された。
• P-tuning v2はメモリ使用量を削減したが、顕著な正確度の低下を引き起こし、効率性と性能のトレードオフが生じた。
• FinChina SAデータセットは https://github.com/YerayL/FinChina-SA で公開されており、今後の金融センチメント分析研究における貴重なベンチマークとして機能する。