[論文レビュー] Large Language Models for Generative Information Extraction: A Survey

Derong Xu, Wei Chen+8 more|arXiv (Cornell University)|Dec 29, 2023

Topic Modeling被引用数 23

ひとこと要約

大規模言語モデルが生成的情報抽出（NER、RE、EE）にどのように用いられるかを網羅的に調査し、タスク、学習パラダイム、普遍的フレームワーク、領域固有の研究、将来の方向性を扱う。

ABSTRACT

Information extraction (IE) aims to extract structural knowledge from plain natural language texts. Recently, generative Large Language Models (LLMs) have demonstrated remarkable capabilities in text understanding and generation. As a result, numerous works have been proposed to integrate LLMs for IE tasks based on a generative paradigm. To conduct a comprehensive systematic review and exploration of LLM efforts for IE tasks, in this study, we survey the most recent advancements in this field. We first present an extensive overview by categorizing these works in terms of various IE subtasks and techniques, and then we empirically analyze the most advanced methods and discover the emerging trend of IE tasks with LLMs. Based on a thorough review conducted, we identify several insights in technique and promising research directions that deserve further exploration in future studies. We maintain a public repository and consistently update related works and resources on GitHub (\href{https://github.com/quqxui/Awesome-LLM4IE-Papers}{LLM4IE repository})

研究の動機と目的

• LLMsが生成的情報抽出タスク（NER、RE、EE）へどのように適用されるかとその学習パラダイムを特徴づける。
• 複数のIEサブタスクを統一する普遍的フレームワークを分析し、NL-LLMとCode-LLMアプローチを比較する。
• 領域固有および評価研究を要約して現在の傾向とギャップを特定する。
• LLMベースIEの将来の研究に向けた有望な方向性と課題を特定する。

提案手法

• IEサブタスクと学習パラダイム別に既存の成果を分類する。
• データセットとタスクを横断して代表的な手法を実証的に分析し、普遍IEにおけるNL-LLMとCode-LLMを比較する。
• 監視付きファイントuning（SFT）、few-shot、zero-shot、データ増強アプローチを例示手法とともにレビューする。
• 結果と傾向を総合して将来の研究方向を概説する。

実験結果

リサーチクエスチョン

• RQ1 単一の生成フレームワークで複数のIEサブタスク（NER、RE、EE）を実行するにはLLMsをどう活用できるか？
• RQ2 普遍IEにおけるNL-LLMとCode-LLMの相対的な利点と限界は何か？
• RQ3 異なる学習パラダイム（SFT、few-shot、zero-shot、データ増強）は各タスクのIE性能にどのように影響するか？
• RQ4 領域特異なIEタスクへLLMsを適用する際の主な課題と有望な方向性は何か？

主な発見

• 生成的LLMsはタスク固有と普遍IEの両方のアプローチを可能にし、複数のサブタスクで discriminative models より優れることが多い。
• NL-LLMsとCode-LLMsは相補的な利点を提供し、コードベースのプロンプトは構造化出力を、自然言語プロンプトは広範なタスクに対して簡潔なプロンプトを提供する。
• 監視付きファイントuning（SFT）とデータ増強はNER、RE、EEの性能を一般的に高め、一方zero-shotとfew-shotは性能ギャップが大きい。
• 統一IEフレームワークはseq2seq形式で複数タスクをモデリングし、タスク間依存性を捉え、タスク横断の一般化を可能にする。
• ゼロショットのクロスドメインとクロスタイプ一般化は活発な領域で、QA整列の検索と推論戦略がREタスクの性能を向上させる。