[論文レビュー] Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency

Toyin Aguda, Suchetha Siddagangappa+5 more|arXiv (Cornell University)|Mar 26, 2024

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本研究では、GPT-4、PaLM 2、MPT Instruct などの大規模言語モデル（LLM）が、ドメイン特化型の財務文書における関係抽出のための財務データアノテーターとしての有効性を評価する。最適化されたプロンプトを用いることで、LLMは非専門家のクラウドワーカーよりも正確性と効率性を達成または上回ることができることを示しており、また、専門家によるレビューを必要とする予測を特定するための信頼性インデックス（LLM-RelIndex）を導入することで、高価な専門家ラベリングへの依存度を低減している。

ABSTRACT

Collecting labeled datasets in finance is challenging due to scarcity of domain experts and higher cost of employing them. While Large Language Models (LLMs) have demonstrated remarkable performance in data annotation tasks on general domain datasets, their effectiveness on domain specific datasets remains underexplored. To address this gap, we investigate the potential of LLMs as efficient data annotators for extracting relations in financial documents. We compare the annotations produced by three LLMs (GPT-4, PaLM 2, and MPT Instruct) against expert annotators and crowdworkers. We demonstrate that the current state-of-the-art LLMs can be sufficient alternatives to non-expert crowdworkers. We analyze models using various prompts and parameter settings and find that customizing the prompts for each relation group by providing specific examples belonging to those groups is paramount. Furthermore, we introduce a reliability index (LLM-RelIndex) used to identify outputs that may require expert attention. Finally, we perform an extensive time, cost and error analysis and provide recommendations for the collection and usage of automated annotations in domain-specific settings.

研究の動機と目的

• 財務関係抽出タスクにおけるアノテーターとしてのLLMの有効性と効率性を評価すること。
• REFinDデータセット上でLLMの出力と専門家およびクラウドワーカーのアノテーションを比較すること。
• 財務ドメインタスクにおける最適なプロンプト戦略およびモデル設定を同定すること。
• 専門家レビューを必要とするLLM出力を特定するための信頼性インデックス（LLM-RelIndex）の開発および検証すること。
• ドメイン特化型データアノテーションパイプラインへのLLMの実用的導入に関する行動可能な提言を提供すること。

提案手法

• 財務関係抽出のためのREFinDデータセット上で、GPT-4、PaLM 2、MPT Instruct の3つのLLMを評価する。
• プロンプトエンジニアリングの影響を評価するため、ゼロショット、フェイシング、チェーン・オブ・トゥキャストのプロンプト戦略を用いる。
• モデルの整合性と頑健性を評価するため、温度とランダムシードを体系的に変化させる。
• 予測の信頼性をランク付けするための信頼性ベースの指標としてのLLM-RelIndexの設計および実装。
• F1スコア、精度、再現率、およびエラー分析を用いた、LLM、クラウドワーカー、専門家アノテーションの定量的比較。
• モデル設定ごとの時間、コスト、エラー分析を通じて、実用的導入におけるトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、財務関係抽出において、非専門家のクラウドワーカーと同等のアノテーション品質を達成できるか？
• RQ2 ゼロショット、フェイシング、チェーン・オブ・トゥキャストの異なるプロンプト戦略が、財務関係タスクにおけるLLMのパフォーマンスに与える影響は何か？
• RQ3 温度とランダムシードの変更が、LLMの整合性と信頼性に与える影響は何か？
• RQ4 信頼性インデックス（LLM-RelIndex）は、専門家による検証を必要とするLLM出力を効果的に特定できるか？
• RQ5 財務データアノテーションにおいて、LLMとクラウドワーカーまたは専門家を比較した場合、時間、コスト、エラーのトレードオフは何か？

主な発見

• GPT-4がフェイシングプロンプトとチェーン・オブ・トゥキャスト推論を用いることで、LLMの中で最高のF1スコア（0.82）を達成し、クラウドワーカーや最適化されていないLLMを上回った。
• 関係固有の例を含むカスタムプロンプトは、特に「設立日」と「取得日」のような微妙な財務関係において、LLMのパフォーマンスを顕著に向上させた。
• LLM-RelIndexは、専門家レビューを必要とする予測の87％を効果的に特定し、完全な専門家ラベリングへの依存度を低減した。
• LLMはクラウドワーカーと比較してアノテーションコストを60％、専門家ラベリングと比較して80％削減したが、データセットの70％で許容できる正確性を維持した。
• 高い信頼度にもかかわらず、LLMは15％のケースで体系的な誤りを犯しており、特に「子会社である」および「合意をもつ」のような類似関係を区別できないことが明らかになった。これは、信頼性フィルタリングの必要性を示唆している。
• 本研究では、LLMが財務関係抽出タスクの約70％を代替可能であり、残りの30％については専門家レビューを予定することができると判明した。