[論文レビュー] ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT

Wei Xiang, Xingyu Cui+10 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用数 143

ひとこと要約

ChatIE は zero-shot IE を、ChatGPT 上の二段階フレームワークを用いたマルチターン QA タスクとして再定義し、ファインチューニングなしでエンティティ関係、エンティティ、イベントを抽出し、複数のデータセットで強い成果を達成する。

ABSTRACT

Zero-shot information extraction (IE) aims to build IE systems from the unannotated text. It is challenging due to involving little human intervention. Challenging but worthwhile, zero-shot IE reduces the time and effort that data labeling takes. Recent efforts on large language models (LLMs, e.g., GPT-3, ChatGPT) show promising performance on zero-shot settings, thus inspiring us to explore prompt-based methods. In this work, we ask whether strong IE models can be constructed by directly prompting LLMs. Specifically, we transform the zero-shot IE task into a multi-turn question-answering problem with a two-stage framework (ChatIE). With the power of ChatGPT, we extensively evaluate our framework on three IE tasks: entity-relation triple extract, named entity recognition, and event extraction. Empirical results on six datasets across two languages show that ChatIE achieves impressive performance and even surpasses some full-shot models on several datasets (e.g., NYT11-HRL). We believe that our work could shed light on building IE models with limited resources.

研究の動機と目的

• ラベル付けの労力と時間を削減するために、zero-shot 情報抽出の動機づけを行う。
• 大規模言語モデルがファインチューニングなしで統一的なプロンプティングベースの IE システムを構築できるかを探る。
• 複雑な IE タスクをより単純なサブタスクに分解する、二段階のチャットベースパイプラインを開発する。

提案手法

• zero-shot IE を、ChatGPT を用いたマルチターンの質問応答プロセスに変換する。
• Stage I は、文中の既存要素タイプ（例：エンティティタイプ、関係、イベントタイプ）を特定する。
• Stage II は、特定されたタイプの連鎖抽出を実行し、サブタスク間の依存関係を許容する。
• タスク特有のテンプレートを用いてプロンプトを生成し、構造化出力のために表形式またはリスト形式の ChatGPT 応答を要求する。
• Turnレベルの出力を、最終的な構造化データ（RE トリプル、NER エンティティ、EE 引数）に統合する。
• RE、NER、EE のために英語および中国語の六つのデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 二段階のチャットベースの prompting フレームワークは、複数の IE タスクに跨る zero-shot IE を可能にできるか？
• RQ2 多様なデータセットで、RE、NER、EE に対する ChatIE の性能は、full-shot および few-shot のベースラインと比較してどうか？
• RQ3 IE をマルチターンサブタスクに分解することが、抽出精度と頑健性にどのような影響を与えるか？

主な発見

• Vanilla ChatGPT with a single-turn prompt underperforms on IE tasks.
• ChatIE の二段階フレームワークは substantial improvements をもたらし、6 datasets で平均約 18.98 percentage points の F1 改善を達成。
• ChatIE は複数のデータセット（e.g., NYT11-HRL、DuIE2.0、DuEE1.0）で、ファインチューニングなしにいくつかの full-shot モデルと同等かそれを上回る。
• いくつかのベースラインでは、ChatIE が NYT11-HRL で FCM や MultiR のような教師ありモデルを上回り、データラベリングの需要が減ることを示している。
• パラメータの更新やファインチューニングを回避することで、計算量を抑えつつ競争力のある結果を提供する。