[論文レビュー] STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models

Mingyu Derek Ma, Xiaoxuan Wang+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 4

ひとこと要約

STARは、少数-shotのデモを用いてターゲット情報抽出構造を合成し、その後、指示微調整と自己反映を用いてLLMにより自然言語の記述を生成する構造からテキストへのデータ生成フレームワークを提案する。この手法は、低リソースなイベント抽出および関係抽出の性能を顕著に向上させ、人為的に作成されたデータを上回る品質と効果性を示す。

ABSTRACT

Information extraction tasks such as event extraction require an in-depth understanding of the output structure and sub-task dependencies. They heavily rely on task-specific training data in the form of (passage, target structure) pairs to obtain reasonable performance. However, obtaining such data through human annotation is costly, leading to a pressing need for low-resource information extraction approaches that require minimal human labeling for real-world applications. Fine-tuning supervised models with synthesized training data would be a generalizable method, but the existing data generation methods either still rely on large-scale ground-truth data or cannot be applied to complicated IE tasks due to their poor performance. To address these challenges, we propose STAR, a data generation method that leverages Large Language Models (LLMs) to synthesize data instances given limited seed demonstrations, thereby boosting low-resource information extraction performance. Our approach involves generating target structures (Y) followed by generating passages (X), all accomplished with the aid of LLMs. We design fine-grained step-by-step instructions to obtain the initial data instances. We further reduce errors and improve data quality through self-reflection error identification and self-refinement with iterative revision. Our experiments show that the data generated by STAR significantly improve the performance of low-resource event extraction and relation extraction tasks, even surpassing the effectiveness of human-curated data. Human assessment of the data quality shows STAR-generated data exhibits higher passage quality and better align with the task definitions compared with the human-curated data.

研究の動機と目的

• アノテート済みの学習データが乏しく、作成に費用がかかる低リソースな情報抽出の課題に対処すること。
• 既存のゴールスタンダードデータに依存しない、スケーラブルで一般化可能なデータ生成手法の開発。
• 高品質な合成学習データを通じて、低リソース環境下での教師ありIEモデルの性能向上。
• 生成されたデータが構造的正確性、言語的品質、タスク定義との整合性を維持すること。
• データ品質および下流モデルの性能の両面で、人為的に作成されたデータを上回ること。

提案手法

• STARは、少数-shotプロンプトを用いて、初期デモからターゲット構造（Y）を最初に生成し、イベントタイプ、トリガー、引数役割の多様性と分布を制御可能にする。
• 次に、タスク固有の詳細な指示に従って、指定されたターゲット構造を含む自然言語の記述（X）を、指示微調整済みLLMが生成する。
• 自己反映は、自動的に作成された反映質問を用いてLLMに生成された記述の品質上の問題を同定させるプロンプトを適用することで実施される。
• テンプレートベースの見直しによる後向きフィードバックを反復的に適用し、誤りを是正し、データ品質を向上させる。
• このパイプラインは、LLMが得意とする条件付きテキスト生成に移行する逆方向生成プロセス（Y → X）として設計されており、構造の誘導という困難な課題から回避する。
• 構造および指示テンプレートを適宜調整することで、イベント抽出および関係抽出の両タスクをサポートする。

Figure 1: The Star inverse data generation strategy using event extraction task as an example. We first generate target structures from valid trigger and argument candidates. Then we prompt the LLM with task instructions from different task granularities to generate the initial passage $X_{0}$ conta

実験結果

リサーチクエスチョン

• RQ1 構造合成から始めるLLMベースのデータ生成は、低リソースIEタスクのための高品質な学習データを生成できるか？
• RQ2 従来のゴールデータに依存する方法と比較して、逆方向生成戦略（Y → X）は優れた性能を示すか？
• RQ3 自己反映と反復的改善は、合成IEデータの誤りを顕著に低減できるか？
• RQ4 STARが生成するデータは、人為的に作成されたデータと比較して、下流IEモデルの性能をどの程度向上できるか？
• RQ5 言語的正確性およびタスク定義との整合性という観点から、STARが生成するデータの品質は人為的に作成されたデータと比べてどの程度か？

主な発見

• SUREプロンプトを用いた場合、STARが生成したデータはゼロショットベースラインに比べて、低リソースなイベント抽出性能で5.4 F1ポイントの向上を達成した。
• GenPTプロンプトを用いた場合、関係抽出ではゼロショットベースラインに比べて3.6 F1ポイントの向上を達成した。
• 人間による評価では、STARが生成したデータは文法的正確性で96%、情報量で79%、常識的整合性で95%のスコアを獲得し、記述の品質において人為的データを上回った。
• STARが生成したデータは、引数スパンの抽出で100%の正確性を達成し、引数役割の正しく割り当てられた割合も98%に達し、人為的性能と同等またはそれを上回った。
• 特にトリガーとイベントタイプの一貫性において、タスク定義との整合性が優れており、99%の正確性を示した。
• 複数の評価において、STARが生成したデータは、下流IEモデルの性能において、人為的に作成されたデータを上回ったが、後者はベンチマークとして使用されていた。

Figure 2: Event extraction performance (F1, %) when the EE models are trained on $N$ augmented training data on top of 10 data points ( $k=10$ ) for each event type. We observe that performance gain brought by Star -generated data is magnified as the data augmentation scales up with a larger $N$ , a