[論文レビュー] YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction

Xinglin Xiao, Yijie Wang+8 more|arXiv (Cornell University)|Dec 24, 2023

Speech and dialogue systems被引用数 5

ひとこと要約

YAYI-UIE は、会話データでベースとなる大規模言語モデルを微調整して命令追従能力を向上させた後、新たに構築された包括的な中国語 IE ベンチマークと英語データを組み合わせて微調整することで、中国語および英語のユニバーサル情報抽出（UIE）を向上させる2段階のインstructチューニングフレームワークである。このフレームワークは、教師ありおよびゼロショット設定の両方で中国語 IE ベンチマークで最先端の性能を達成し、イベントトリガー抽出などの主要タスクで先行手法を10ポイント以上上回っている。

ABSTRACT

The difficulty of the information extraction task lies in dealing with the task-specific label schemas and heterogeneous data structures. Recent work has proposed methods based on large language models to uniformly model different information extraction tasks. However, these existing methods are deficient in their information extraction capabilities for Chinese languages other than English. In this paper, we propose an end-to-end chat-enhanced instruction tuning framework for universal information extraction (YAYI-UIE), which supports both Chinese and English. Specifically, we utilize dialogue data and information extraction data to enhance the information extraction performance jointly. Experimental results show that our proposed framework achieves state-of-the-art performance on Chinese datasets while also achieving comparable performance on English datasets under both supervised settings and zero-shot settings.

研究の動機と目的

• 既存の LLM ベースの UIE フレームワークにおいて、特に中国語において強力なマルチリンガル情報抽出能力が不足しているという問題に対処すること。
• 命令追従能力およびタスク理解を向上させることで、ユニバーサル IE におけるゼロショットおよびフェイントショット一般化性能を改善すること。
• 16の多様なドメインをカバーする、最大かつ最も包括的な中国語インstructチューニングベンチマークを構築すること。
• 会話理解と構造化情報抽出の両方を同時に向上させるエンドツーエンドのチャット強化型インストラクションチューニングフレームワークを開発すること。
• チャットベースのインストラクションチューニングが中国語および英語の IE タスクにおいて性能を顕著に向上させることを実証すること。

提案手法

• まず、会話データでベースの大規模言語モデルを微調整し、命令追従能力および一般的な推論能力を向上させ、チャット最適化モデルを構築する。
• 次に、チャット最適化モデルを、中国語および英語の情報抽出例の組み合わせデータセットを用いてインストラクションチューニングする。この際、タスクの種類、選択肢、出力形式を明示する構造化されたプロンプトを用いる。
• フレームワークは、テキストからJSONへの生成スキーマを採用しており、各入力はタスクの定義、ラベルの制約、出力構造を示す自然言語のインストラクションとペアになっている。
• インストラクションテンプレートには3つの要素が含まれる：タスク説明（例：「すべてのエンティティを抽出」）、ラベル選択肢（例：「person型のエンティティのみ」）、出力形式（例：「JSON形式で出力」）。
• トレーニングデータには、医療、法務、金融など16の多様なドメインをカバーする中国語 IE データセットが含まれており、これまでで最も包括的な中国語 IE ベンチマークを形成している。
• フレームワークは、教師ありおよびゼロショット設定の両方で評価され、NER、RE、イベント抽出タスクなどの標準的な IE メトリクス（F1スコアなど）を用いて性能が測定されている。

実験結果

リサーチクエスチョン

• RQ1 会話データを組み込んだ2段階のインストラクションチューニングフレームワークは、ユニバーサル情報抽出におけるゼロショットおよびフェイントショット一般化性能を向上させることができるか？
• RQ2 チャット強化型インストラクションチューニングは、中国語および英語の情報抽出タスクにおいて、標準的なインストラクションチューニングと比較して性能が優れているか？
• RQ3 大規模かつマルチドメインの中国語 IE ベンチマークは、マルチリンガル UIE におけるモデルの一般化性能および耐性をどの程度向上させるか？
• RQ4 1段階目のチューニング段階で会話データを統合することで、IE タスクにおける複雑な複数部品構成のインストラクションを正確に追従する能力が顕著に向上するか？
• RQ5 統一されたフレームワークは、最小限のタスク固有の適応で、中国語および英語の両方で複数の IE サブタスク（NER、RE、EE）において最先端の性能を達成できるか？

主な発見

• YAYI-UIE は中国語 IE ベンチマークで最先端の性能を達成し、イベントトリガー抽出などの主要タスクで先行手法を10 F1ポイント以上上回っている。
• Baichuan-13B モデルにおいて、チャット最適化版（Baichuan-13B-chat）は中国語 IE タスクで平均 F1 スコア 76.34 を達成したのに対し、ベースモデルでは 62.19 にとどまった。
• フレームワークは強力なゼロショット一般化性能を示し、微調整なしで未学習の IE タスクやスキーマに対しても高い性能を維持している。
• アブレーションスタディの結果、チャットベースのインストラクションチューニングは、特に複雑で複数部品構成のインストラクションに対して、命令追従能力および抽出精度を顕著に向上させていることが確認された。
• 16の多様なデータセットを含む本研究で提案された中国語 IE ベンチマークは、従来のベンチマークよりもより強固で一般化可能な学習を可能にしている。
• YAYI-UIE は、既存の最先端手法と同等の性能を英語データセットで達成しており、そのマルチリンガル能力および移行可能性を裏付けている。