[論文レビュー] MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

Letian Peng, Zilong Wang+3 more|arXiv (Cornell University)|Mar 30, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

MetaIEは、大規模言語モデル（LLM）からメタモデルを蒸留するフレームワークを提案する。このフレームワークは、多様なタスクにおけるゼロショットおよびフェイントショット情報抽出（IE）を可能にする。LLMから生成されたラベルからスパンへの指示の合成データセットを用いた記号的蒸留プロセスにより、小規模モデルが13のIEデータセットにわたって効果的に一般化できる。従来の事前学習、マルチタスク微調整、単一タスクの蒸留と比較して優れた性能を達成する。

ABSTRACT

Information extraction (IE) is a fundamental area in natural language processing where prompting large language models (LLMs), even with in-context examples, cannot defeat small LMs tuned on very small IE datasets. We observe that IE tasks, such as named entity recognition and relation extraction, all focus on extracting important information, which can be formalized as a label-to-span matching. In this paper, we propose a novel framework MetaIE to build a small LM as meta-model by learning to extract "important information", i.e., the meta-understanding of IE, so that this meta-model can be adapted to all kind of IE tasks effectively and efficiently. Specifically, MetaIE obtains the small LM via a symbolic distillation from an LLM following the label-to-span scheme. We construct the distillation dataset via sampling sentences from language model pre-training datasets (e.g., OpenWebText in our implementation) and prompting an LLM to identify the typed spans of "important information". We evaluate the meta-model under the few-shot adaptation setting. Extensive results on 13 datasets from 6 IE tasks confirm that MetaIE can offer a better starting point for few-shot tuning on IE datasets and outperform other meta-models from (1) vanilla language model pre-training, (2) multi-IE-task pre-training with human annotations, and (3) single-IE-task symbolic distillation from LLM. Moreover, we provide comprehensive analyses of MetaIE, such as the size of the distillation dataset, the meta-model architecture, and the size of the meta-model.

研究の動機と目的

• 大規模言語モデル（LLM）の広範な能力にもかかわらず、情報抽出タスクにおける非効率さと劣ったフェイントショット性能を解消すること。
• タスク固有の微調整を必要とせず、多様なIEタスクに一般化可能な統合的で小規模な言語モデルメタモデルの開発。
• LLMがラベルからスパンへの形式化を通じて「重要な情報抽出」のメタ理解に蒸留可能かどうかの検証。
• 人間アノテーションやタスク固有の事前学習と比較して、LLMから生成されたデータからの記号的蒸留の有効性の評価。
• メタ理解のIEを蒸留するための最適なモデルおよびデータスケールの境界の特定。

提案手法

• OpenWebTextから10万文をサンプリングし、GPT-3.5-turboにさまざまなIEラベルの「重要な情報」のタイプ付きスパンを特定するようプロンプトすることで、合成された蒸留データセットを構築する。
• すべてのIEタスクをラベルからスパンへの指示として形式化する：ラベル l が与えられたとき、入力テキストからスパンを抽出する。これにより、統一された蒸留スキームを実現する。
• 標準的な微調整（クロスエントロピー損失を用いる）により、LLMから生成されたデータセットから小規模な学生モデルを記号的蒸留で学習する。
• 複数のモデルアーキテクチャをサポート：系列ラベル付け（例：RoBERTa）、seq2seq（例：BART、T5）、自己回帰的言語モデル（例：GPT2、OPT）、ラベル-スパンフォーマットを一貫させる。
• 下流のIEデータセットでフェイントショット微調整を実施し、メタモデルの転送性および一般化性能を評価する。
• 蒸留データサイズ、学生モデルサイズ、アーキテクチャのアブレーションスタディを実施し、スケーリング行動とパフォーマンスのトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）から効果的に蒸留された小規模言語モデルは、すべてのIEタスクに通用するユニバーサルメタモデルとして機能できるか？
• RQ2 LLMから生成されたラベルからスパンへのペアを用いた記号的蒸留は、人間アノテーションによるマルチタスク事前学習や、通常の事前学習を上回る性能を発揮するか？
• RQ3 IEのメタ理解を獲得するための最適な蒸留データセットおよび学生モデルのサイズは何か？
• RQ4 モデルアーキテクチャの選択（例：系列ラベル付け対seq2seq対自己回帰的言語モデル）は、蒸留の有効性にどのように影響するか？
• RQ5 SRL、ABSA、ASTEなどの分布外IEデータセットに対しても、メタモデルは良好に一般化するか？

主な発見

• MetaIEは、6つのIEタスクにまたがる13のデータセットにおいて、フェイントショット設定で、通常の事前学習、マルチIEタスクの人間アノテーション事前学習、単一IEタスクの記号的蒸留のメタモデルをすべて上回る性能を発揮する。
• パrameter数が同等のモデル群（BERT、BART、T5、GPT2、OPT）と比較して、RoBERTaベースの系列ラベル付けモデルが、すべてのアーキテクチャの中で最高のパフォーマンスを達成する。
• 8万～16万文の蒸留データセットがあれば、学生モデルにIEのメタ理解を付与するのに十分であり、1万例でも顕著な改善が得られる。
• モデルのパラメータ数が増えるに従い、パフォーマンスが向上し、特に複雑なタスクやドメイン特化タスクでは、より大きなモデルがより優れた一般化性能を示す。
• MetaIEは強力なフェイントショット転送性能を達成し、分布内データセットでは、タスク固有の蒸留と同等またはそれを上回る性能を示しており、その包括性を裏付けている。
• MetaIEの成功はLLMそのものに起因するのではなく、ラベルからスパンへの形式化に起因する。人間アノテーションに基づくLLM出力からの蒸留は、性能が著しく低かった。