[論文レビュー] Exploiting Asymmetry for Synthetic Training Data Generation: SynthIE and the Case of Information Extraction

Martin Josifoski, Marija Šakota+2 more|arXiv (Cornell University)|Mar 7, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLM）に事前に定義された構造的出力（例：(主語, 述語, 宾語)の三つ組み）から自然言語入力を生成させるという、構造的出力生成とテキスト生成の非対称性を活用するSynthIEという手法を提案する。タスクを逆転させることで、閉じた情報抽出（cIE）のための180万件の高品質な合成データを生成し、微調整された小規模モデル（2億2000万〜7億7000万パラメータ）が最先端の性能を達成した。微小F1とマクロF1では、それぞれ前人最高水準を57ポイントおよび79ポイント上回った。

ABSTRACT

Large language models (LLMs) have great potential for synthetic data generation. This work shows that useful data can be synthetically generated even for tasks that cannot be solved directly by LLMs: for problems with structured outputs, it is possible to prompt an LLM to perform the task in the reverse direction, by generating plausible input text for a target output structure. Leveraging this asymmetry in task difficulty makes it possible to produce large-scale, high-quality data for complex tasks. We demonstrate the effectiveness of this approach on closed information extraction, where collecting ground-truth data is challenging, and no satisfactory dataset exists to date. We synthetically generate a dataset of 1.8M data points, establish its superior quality compared to existing datasets in a human evaluation, and use it to finetune small models (220M and 770M parameters), termed SynthIE, that outperform the prior state of the art (with equal model size) by a substantial margin of 57 absolute points in micro-F1 and 79 points in macro-F1. Code, data, and models are available at https://github.com/epfl-dlab/SynthIE.

研究の動機と目的

• 閉じた情報抽出（cIE）のための既存データセットの不足と低品質な点に起因する、高コストで時間がかかるアノテーションの問題に対処すること。
• LLMが直接的に構造的出力を生成する能力に限界があることを補うために、タスクの非対称性を活用し、構造的出力から自然言語を生成させる方法を採用すること。
• cIEのためのスケーラブルで高品質かつ均等に分布した合成データセットを構築し、そのことで小規模で効率的なモデルが優れた一般化性能を発揮できるようにすること。
• 逆プロンプトによる合成データ生成が、現実世界のデータセットを上回る品質を持つことを示し、下流タスクで最先端の性能を達成できることを実証すること。

提案手法

• Wikidataから一貫性のある意味的関係とバランスの取れた関係カバレッジを確保するため、整合性のある(主語, 述語, 宾語)三つ組みの集合をサンプリングする。
• 大規模言語モデル（例：GPT-3.5）を用いて、サンプリングされた三つ組みの内容を正確に表現する自然言語テキストを生成し、通常のcIEの方向とは逆に処理する。
• 生成されたテキストに意図しない事実や余分な三つ組みが含まれないことを保証するため、忠実度の高い検証を含む合成データ生成パイプラインを設計する。
• Flan-T5などの小規模なT5ベースのモデルを合成データセットで微調整し、cIEに最適化されたSynthIEモデルを構築する。
• 生成されたテキストにおけるターゲット事実の正確性、再現率、カバレッジを測定するために、段階的な人間による評価を実施する。
• REBEL Cleanをベンチマークとして用い、ゴールアノテーションとモデル予測を用いて真陽性数の正確な推定を実施することで、モデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 直接生成が失敗する構造的予測タスクのための高品質な合成学習データを、LLMが有効に生成できるか？
• RQ2 構造的出力から自然言語を生成するというタスクの逆転処理は、直接生成に比べてより忠実で高品質なデータを生み出せるか？
• RQ3 分布の特性（例：関係の頻度が均等になるように制御）が制御された合成データは、歪んだ分布を持つ現実世界のデータセットよりも優れたモデル一般化性能をもたらすか？
• RQ4 合成データで微調整された小規模モデルは、既存の現実世界データセットで学習されたモデルに比べて、閉じた情報抽出タスクでどの程度優れた性能を発揮できるか？

主な発見

• SynthIEが生成した合成データセットには180万件の高品質なデータポイントが含まれており、ターゲットセットからの情報欠落は15%にとどまり、テキストに表現されない三つ組みは22%にとどまる。これはREBELの70%および45%と比べて顕著に優れている。
• 人間による評価により、合成データがREBELデータセットよりも著しく高い品質であることが確認され、一貫性と事実カバレッジの両面で向上が見られた。
• 合成データで微調整されたSynthIEモデルは、Wiki-cIE Textテストセットにおいて、微小F1で前人最高水準を57ポイント、マクロF1で79ポイント上回った。
• REBEL Cleanでは、SynthIEのマクロF1が元のREBELゴールアノテーションを上回り、合成データが人間によるアノテーションベースラインを上回る品質を持つ可能性を示した。
• 本手法により、トレーニングデータにおける関係の分布を完全に制御でき、既存データセットに見られる長尾問題を緩和できる。
• 本アプローチはスケーラブルでコスト効率が良く、高価な人間によるアノテーションを伴わずに大規模なデータ生成が可能である。