[論文レビュー] ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement

Xinliang Frederick Zhang, Carter Blum+3 more|arXiv (Cornell University)|Jan 24, 2024

Topic Modeling被引用数 4

ひとこと要約

ULTRAは、Flan-UL2などのオープンソースLLMを活用して、文書レベルのイベントアーギュメント抽出（DocEAE）を効果的かつ高コスト効率に向上させる階層的フレームワークです。連続的なチャンク処理、不要な候補をフィルタリングする自己精錬、およびアーギュメントスパン境界検出を向上させるLEAFERモジュールを採用し、わずか50件のアノテート済み例を用いて、高価なAPIコールを回避しながら、強力なベースライン（ChatGPTを含む）に対して9.8%の絶対F1向上を達成しました。

ABSTRACT

Structural extraction of events within discourse is critical since it avails a deeper understanding of communication patterns and behavior trends. Event argument extraction (EAE), at the core of event-centric understanding, is the task of identifying role-specific text spans (i.e., arguments) for a given event. Document-level EAE (DocEAE) focuses on arguments that are scattered across an entire document. In this work, we explore open-source Large Language Models (LLMs) for DocEAE, and propose ULTRA, a hierarchical framework that extracts event arguments more cost-effectively. Further, it alleviates the positional bias issue intrinsic to LLMs. ULTRA sequentially reads text chunks of a document to generate a candidate argument set, upon which non-pertinent candidates are dropped through self-refinement. We introduce LEAFER to address the challenge LLMs face in locating the exact boundary of an argument. ULTRA outperforms strong baselines, including strong supervised models and ChatGPT, by 9.8% when evaluated by Exact Match (EM).

研究の動機と目的

• 教師付きDocEAEモデルの高コストなアノテーションおよび推論コストを低減すること。
• ChatGPTのような閉鎖型LLMにおける位置バイアスおよび冗長性の問題を軽減すること。
• わずか50件のアノテート済み例を用いて、最小限の監視で効果的な文書レベルEAEを実現すること。
• 専用のLEAFERモジュールを用いて、アーギュメントスパン境界検出を向上させること。
• 適切なファインチューニングと精錬を施したオープンソースLLMが、DocEAEにおいて閉鎖型モデルを上回ることを示すこと。

提案手法

• ULTRAは文書を連続的なテキストチャンクに分割し、LLMを用いて候補アーギュメントを生成します。
• 学習済み分類器を用いて、不要な候補をフィルタリングする自己精錬メカニズムを採用します。
• LEAFERモジュールは、候補スパン内の開始位置および終了位置を予測することで、アーギュメントスパン境界を精錬します。
• 自己精錬およびLEAFERモジュールの両方で、最大50件のアノテート済み例を用いた少サンプルプロンプティングを実施します。
• ULTRAはゼロショット推論設定で動作し、高価なAPIコールへの依存を最小限に抑えます。
• チャンキングにおけるウィンドウサイズは、正確性と再現率のバランスを最適化するために調整されており、F1スコアはウィンドウサイズ15で飽和します。

実験結果

リサーチクエスチョン

• RQ1 オープンソースLLMは、最小限の監視で文書レベルのイベントアーギュメント抽出において最先端のパフォーマンスを達成できるか？
• RQ2 自己精錬とスパン境界精錬は、LLMベースのEAEにおける誤検出および冗長性をどのように低減できるか？
• RQ3 階層的処理におけるテキストチャンクウィンドウサイズを変化させた場合、正確性と再現率のトレードオフはどのように変化するか？
• RQ4 軽量でファインチューニングされたLEAFERモジュールは、直接的なLLM出力と比較して、アーギュメントスパン境界検出をどの程度向上できるか？
• RQ5 ULTRAは、教師付き機械学習モデルおよびChatGPTのような閉鎖型LLMと比較して、コストとパフォーマンスの面でどの程度優れているか？

主な発見

• ULTRAは、DocEAEベンチマークにおいて、最も強力なベースライン（ChatGPTを含む）に対して、正確一致F1で9.8%の絶対的向上を達成しました。
• ULTRAは、前回の最先端モデル（正確一致再現率25.2%）と比較して、EM再現率を56%向上させました。
• わずか50件のアノテート済み例を用いても高いパフォーマンスを維持しており、優れた少サンプル一般化能力を示しています。
• 推論コストを大幅に削減しており、2Kのテストセットに対してChatGPTを用いた推論コストは40～400ドル程度である一方、22Kのアノテート済み記事を必要とする教師付きモデルでは20,000ドルにのぼります。
• Layer-1のみのバージョンでは、ウィンドウサイズ15でF1スコアが飽和しており、正確性と再現率の最適なトレードオフが実現されていることが示されました。
• LEAFERにより、ULTRAは過剰なスパンを是正でき、例えば「今年3月から5月の間」という正しいスパンに対して「7月」を含む出力を修正することができました。