[論文レビュー] Empirical Study of Zero-Shot NER with ChatGPT

Tingyu Xie, Qi Li+4 more|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、ChatGPTを用いたゼロショット名前付きエンティティ認識（NER）の性能向上を目的として、4つの推論強化戦略——分解型質問応答、構文的プロンプト、ツール拡張、二段階自己一貫性投票——を提案および評価する。これらの手法は、多言語およびドメイン特化型のデータセットを含む7つの多様なベンチマークにおいて顕著な性能向上を達成し、大規模言語モデルにおける構造的推論技術が強力なゼロショットNER能力を解き放てる可能性を示している。

ABSTRACT

Large language models (LLMs) exhibited powerful capability in various natural language processing tasks. This work focuses on exploring LLM performance on zero-shot information extraction, with a focus on the ChatGPT and named entity recognition (NER) task. Inspired by the remarkable reasoning capability of LLM on symbolic and arithmetic reasoning, we adapt the prevalent reasoning methods to NER and propose reasoning strategies tailored for NER. First, we explore a decomposed question-answering paradigm by breaking down the NER task into simpler subproblems by labels. Second, we propose syntactic augmentation to stimulate the model's intermediate thinking in two ways: syntactic prompting, which encourages the model to analyze the syntactic structure itself, and tool augmentation, which provides the model with the syntactic information generated by a parsing tool. Besides, we adapt self-consistency to NER by proposing a two-stage majority voting strategy, which first votes for the most consistent mentions, then the most consistent types. The proposed methods achieve remarkable improvements for zero-shot NER across seven benchmarks, including Chinese and English datasets, and on both domain-specific and general-domain scenarios. In addition, we present a comprehensive analysis of the error types with suggestions for optimization directions. We also verify the effectiveness of the proposed methods on the few-shot setting and other LLMs.

研究の動機と目的

• ゼロショット推論能力が、情報抽出の核となるタスクである名前付きエンティティ認識（NER）において、ChatGPTにどのように発現するかを調査すること。
• ファインチューニングなしで構造的予測タスク（NERなど）を実行する大規模言語モデル（LLMs）の性能に関する理解の欠落を埋める。
• 推論を促進する新たなプロンプトおよび推論戦略を設計・評価し、ゼロショットNER性能の向上を図ること。
• LLMベースのNERにおける誤りタイプの包括的分析と最適化の方向性を提供すること。
• 提案手法の有効性をゼロショットにとどまらず、少数ショット設定および他のLLMに対しても検証すること。

提案手法

• 分解型質問応答：NERをラベルごとに部分タスクに分解し、モデルに1つのラベルごとにエンティティを抽出するようにプロンプトする。
• 構文的プロンプト：エンティティを特定する前に、構文構造（例：品詞タグ、依存構造木）の分析をモデルに促す。
• ツール拡張：外部の構文解析出力（例：品詞タグ、依存構造木）を入力としてモデルに供給し、推論を向上させる。
• 二段階マジョリティ投票：自己一貫性を適用する際、最初に一貫したエンティティ表記を集約し、次に一貫したエンティティタイプに投票する。
• これらの手法は、ファインチューニングやラベル付きデモンストレーションなしのゼロショット設定で適用される。
• アプローチは、一般ドメインおよびドメイン特化型の両方を含む英語および中国語のデータセットを含む7つのベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・オブザーブや自己一貫性といった構造的推論技術は、LLMを用いたゼロショットNERに効果的に適用可能か？
• RQ2 構文的プロンプトとツール拡張解析は、LLMベースのNERにおける推論プロセスをどのように向上させるか？
• RQ3 分解型質問応答は、ゼロショット設定におけるエンティティ認識性能にどのような影響を及ぼすか？
• RQ4 LLMベースのNERにおける誤りパターンは、ドメインや言語によってどのように変化し、最適化のための何らかの示唆を提供するか？
• RQ5 提案手法は、ChatGPTにとどまらず、他のLLMおよび少数ショット設定に対しても一般化可能か？

主な発見

• 提案手法は、一般ドメインおよびドメイン特化型の両方を含む7つのベンチマークでゼロショットNER性能を顕著に向上させた。
• 構文的プロンプトとツール拡張は、モデルの内部推論ステップを強化することで、一貫して性能向上をもたらした。
• 二段階自己一貫性戦略は、標準的な自己一貫性を上回り、エンティティタイプへの投票の前に一貫した表記を集約することで優れた性能を発揮した。
• この手法は英語および中国語のNERデータセットでも強力な結果を達成し、多言語への一般化能力を示した。
• 誤り分析から、過剰な表記や誤分類といった共通の失敗モードが明らかになった。これにより、今後の改善の方向性が示された。
• これらの戦略は、少数ショット設定および他のLLMに対しても効果的に一般化され、ChatGPTを超えた堅牢性を確認した。