[論文レビュー] An Empirical Study on Information Extraction using Large Language Models

Ridong Han, Chaohao Yang+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 48

ひとこと要約

この研究は、ゼロショット、少数ショットICL、および少数ショットのチェーン・オブ・思考(COT)の下で、14の情報抽出IEサブタスクをまたいで17データセットにおけるChatGPTを評価し、SOTAとの差が大きいこと、提案されたソフトマッチング評価手法、頑健性の洞察、一般的なエラータイプを明らかにする。

ABSTRACT

Human-like large language models (LLMs), especially the most powerful and popular ones in OpenAI's GPT family, have proven to be very helpful for many natural language processing (NLP) related tasks. Therefore, various attempts have been made to apply LLMs to information extraction (IE), which is a fundamental NLP task that involves extracting information from unstructured plain text. To demonstrate the latest representative progress in LLMs' information extraction ability, we assess the information extraction ability of GPT-4 (the latest version of GPT at the time of writing this paper) from four perspectives: Performance, Evaluation Criteria, Robustness, and Error Types. Our results suggest a visible performance gap between GPT-4 and state-of-the-art (SOTA) IE methods. To alleviate this problem, considering the LLMs' human-like characteristics, we propose and analyze the effects of a series of simple prompt-based methods, which can be generalized to other LLMs and NLP tasks. Rich experiments show our methods' effectiveness and some of their remaining issues in improving GPT-4's information extraction ability.

研究の動機と目的

• 複数のデータセットとサブタスクにわたる情報抽出（IE）タスクにおけるChatGPTの性能を評価する。
• インコンテキスト学習（ICL）とチェーン・オブ・思考（COT）プロンプトがIEのパフォーマンスに与える影響を調査する。
• 頑健性とエラーパターンを分析し、制限やデータ品質の懸念を特定する。
• ChatGPTのスパン予測をより適切に反映するソフトマッチング評価戦略を提案する。

提案手法

• ゼロショット、5-shot ICL、5-shot COT設定の下で、14のIEサブタスクをカバーする17データセットでChatGPTを評価する。
• サブタスクごとに5つのゼロショットプロンプトを設計・比較してプロンプト感度を測定し、平均と標準偏差を報告する。
• 最良のゼロショットプロンプトを選択し、訓練セットから5つのデモ例を追加して少数ショットICLプロンプトを構築する。手動で構築したチェーン・オブ・思考の説明を追加して少数ショットCOTプロンプトを構築する。
• ChatGPTが生成する長いスパンや修飾語を含むスパンを考慮するため、gamma閾値を用いた編集距離ベースの類似性を用いたソフトマッチング評価戦略を導入する。
• F1を評価指標として、SOTAメソッドと比較し、SOTAに対する比率を報告する。
• 無効な出力、関連性のない文脈、ターゲットタイプの頻度、エンティティ順序の感度を調べて頑健性分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット、少数ショットICL、少数ショットCOT設定で、14のIEサブタスクを17データセットに対してChatGPTはどの程度の性能を示すか？
• RQ2 少数ショットICLとCOTプロンプトはSOTAとの差を縮めるのにどの程度効果があるか、あるいは効果がないか？
• RQ3 評価基準（ハードマッチ vs ソフトマッチ）がIEタスクにおけるChatGPTの測定性能にどのように影響するか？
• RQ4 IEにChatGPTを使用する際の主な頑健性の課題とエラータイプは何か？
• RQ5 アノテーション作業フローでChatGPTを使用することでデータアノテーションの品質は影響を受けるのか、改善できるのか？

主な発見

• ChatGPTとSOTAメソッドとの差には大きな性能差があり、タスクの難易度が上がるほど拡大する。
• 少数ショットICLは一般に結果を改善する（約3–13 F1ポイント）しかし通常SOTAには達しない；少数ショットCOTはICLを上回る利得を保証しない。
• ソフトマッチング評価はハードマッチングより一貫して改善をもたらし、ABSAサブタスクの一部では最大で14.53 F1ポイントまで向上するが、それでもSOTAレベルには達しない。
• ChatGPTは無効な回答を出すことはまれだが、関連性のない文脈と長尾のターゲットタイプが性能を著しく低下させ、REタスクにおける主語–目的語の理解は限られている。
• 未アノテーションのスパンが最も多いエラータイプであり（約3分の1のエラー）、アノテーション品質への懸念とChatGPT支援アノテーションの可能性を示唆する。
• REタスクにおけるエンティティ順序への感度は限られており、いくつかの主語–目的語関係の理解が不十分であることを示している。