[論文レビュー] EventRL: Enhancing Event Extraction with Outcome Supervision for Large Language Models

Jun Gao, Huan Zhao+3 more|arXiv (Cornell University)|Feb 18, 2024

Topic Modeling被引用数 4

ひとこと要約

EventRLは、タスク固有の報酬関数を用いた成果物の監視を用いて、大規模言語モデル（LLM）のイベント抽出を向上させる強化学習フレームワークを提案する。幻覚や構造的誤りを低減し、少サンプルプロンプティングや教師あり微調整を凌駕する。特に未知のイベントタイプの同定や正しいイベント構造の維持において優れた性能を示し、コードデータで微調整されたCodeLLaMaモデルは、ホールドインデータで最大65.90のF1スコアを達成し、一般化性能に優れる。

ABSTRACT

In this study, we present EventRL, a reinforcement learning approach developed to enhance event extraction for large language models (LLMs). EventRL utilizes outcome supervision with specific reward functions to tackle prevalent challenges in LLMs, such as instruction following and hallucination, manifested as the mismatch of event structure and the generation of undefined event types. We evaluate EventRL against existing methods like Few-Shot Prompting (FSP) (based on GPT4) and Supervised Fine-Tuning (SFT) across various LLMs, including GPT-4, LLaMa, and CodeLLaMa models. Our findings show that EventRL significantly outperforms these conventional approaches by improving the performance in identifying and structuring events, particularly in handling novel event types. The study emphasizes the critical role of reward function selection and demonstrates the benefits of incorporating code data for better event extraction. While increasing model size leads to higher accuracy, maintaining the ability to generalize is essential to avoid overfitting.

研究の動機と目的

• LLMベースのイベント抽出における指示従いと幻覚の問題、特に構造的不一致や未定義のイベントタイプを解決すること。
• 実際の抽出精度を反映する成果物ベースのフィードバックに移行することで、イベント抽出性能を向上させること。
• 強化学習による成果物の監視が、未観測のイベントタイプへの一般化を向上させるとともに、イベントスキーマの構造的整合性を改善できるかどうかを調査すること。
• コードデータでの事前学習が、さまざまなモデルスケールにおいてイベント抽出性能とモデルの頑健性に与える影響を評価すること。

提案手法

• EventRLは、イベント抽出のパフォーマンス指標に基づいて導出された成果物ベースの報酬関数を用いて、ポリシーネットワークを最適化する強化学習フレームワークを採用する。
• 3種類の報酬関数を導入：Argument-F1、Average-F1、Product-F1。それぞれ、誤った引数役割やイベントタイプ予測に対してより強くペナルティを与えるように設計されている。
• 訓練の安定化とポリシーの劣化・途切れの防止のため、Teacher-Force ThresholdとAdvantage Clippingを組み込む。
• 正確なイベント引数とタイプの一致に基づいて報酬設計が行われ、フィードバックは最終的なイベント構造の正しさに直接関連付けられる。
• GPT-4、LLaMA、CodeLLaMa、その他のLLMに適用され、SFT初期化モデルを用いてPPOに類似した最適化で訓練される。
• 構造的情報を理解する能力を向上させるために、コードデータでの事前学習を統合し、イベント抽出タスクにおけるパフォーマンスを向上させる。

Figure 1: Examples of common errors in LLM-Based event extraction. The left side depicts an error of generating an undefined event type, specifically an unexpected “Vote” event not included in the guidelines. The right side shows a structural mismatch error within an “Attack” event, incorporating an

実験結果

リサーチクエスチョン

• RQ1 強化学習による成果物の監視が、LLMベースのイベント抽出における幻覚や構造的誤りを顕著に低減できるか？
• RQ2 異なる報酬関数（Argument-F1、Average-F1、Product-F1）は、モデルの正しいイベント構造とタイプの学習能力にどのように影響するか？
• RQ3 コードデータでの事前学習が、イベント抽出における未観測のイベントタイプへの一般化を向上させるか？
• RQ4 モデルサイズの拡大がイベント抽出パフォーマンスに与える影響はどの程度か？また、ホールドアウトデータに対して過学習を引き起こすか？
• RQ5 EventRLによる成果物ベースのフィードバックは、ゼロショットおよび少サンプルのイベント抽出設定において、標準的な教師あり微調整や少サンプルプロンプティングを上回るか？

主な発見

• EventRLは、GPT-4を用いた少サンプルプロンプティングおよびSFTを用いた教師あり微調整を、複数のLLMで顕著に上回り、CodeLLaMa-13BとProduct-F1報酬関数を用いたホールドインテストセットで65.90のF1スコアを達成した。
• コードデータで事前学習されたCodeLLaMaモデルは、7Bスケールでホールドインテストで59.23のAVG F1、ホールドアウトテストで49.74を記録し、LLaMa-7B（56.03および37.35）を上回り、構造的推論にコードデータの利点が示された。
• 13Bスケールに拡大した際、CodeLLaMaとLLaMaの性能差は拡大し、CodeLLaMa-13Bはホールドアウトデータで51.69のAVG F1を達成したのに対し、LLaMaは42.04であった。
• 34Bパラメータにスケーリングした場合、CodeLLaMa-34Bは一般化性能が低下（ホールドアウトデータで48.75のF1スコア）し、より大きなモデルでは過学習のリスクがあることを示唆した。
• 事例スタディでは、EventRL（Prod-F1）が逮捕イベントにおける「警察機関（agent）」役割と「犯罪（crime）」引数を正しく同定している一方、SFTベースラインは両方を逃していることから、構造的正確性の向上が明確に示された。
• 報酬関数設計が極めて重要であることが示された：Product-F1が最も優れたパフォーマンスを示し、正確性と再現率の共同最適化がイベント構造の整合性に最も効果的であることが示された。

Figure 2: The EventRL framework architecture, demonstrating the process from initialization with an SFT Model $M_{0}$ , through iterative model updates $M_{t}$ to $M_{t+1}$ via Outcome Supervision. This includes using reinforcement learning with reward functions based on Trigger-F1 and Argument-F1 s