[論文レビュー] Enhancing Few-shot NER with Prompt Ordering based Data Augmentation

Hui‐Ming Wang, Liying Cheng+3 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己回帰的生成モデルを用いた少数-shot命名エンティティ認識（NER）のための、新たなデータ拡張手法であるPrompt Ordering based Data Augmentation（PODA）を提案する。PODAは、プロンプトに基づく指示を用いて多様で妥当なエンティティ順序を生成し、各順序を一意の入力系列とペアにすることで、バックボーンモデルを変更せずに、一対多マッピング問題を回避しながら、平坦型およびネスト型NERベンチマークにおけるモデルの汎化性能と性能を向上させる。

ABSTRACT

Recently, data augmentation (DA) methods have been proven to be effective for pre-trained language models (PLMs) in low-resource settings, including few-shot named entity recognition (NER). However, conventional NER DA methods are mostly aimed at sequence labeling models, i.e., token-level classification, and few are compatible with unified autoregressive generation frameworks, which can handle a wider range of NER tasks, such as nested NER. Furthermore, these generation frameworks have a strong assumption that the entities will appear in the target sequence with the same left-to-right order as the source sequence. In this paper, we claim that there is no need to keep this strict order, and more diversified but reasonable target entity sequences can be provided during the training stage as a novel DA method. Nevertheless, a naive mixture of augmented data can confuse the model since one source sequence will then be paired with different target sequences. Therefore, we propose a simple but effective Prompt Ordering based Data Augmentation (PODA) method to improve the training of unified autoregressive generation frameworks under few-shot NER scenarios. Experimental results on three public NER datasets and further analyses demonstrate the effectiveness of our approach.

研究の動機と目的

• 自己回帰的生成モデルが少数-shot NERにおいて出力の厳密な左から右へのエンティティ順序を仮定するという制限を解消すること。
• 特にネスト型および複雑なNERタスクに適した、統一的生成フレームワークと互換性のあるデータ拡張手法を開発すること。
• データ拡張における一対多マッピング問題（1つの入力が複数の妥当な出力にマッピングされる問題）を解決すること。
• 最小限のラベル付きデータで、低リソース環境におけるモデルの汎化性能と性能を向上させること。
• アーキテクチャの変更なしに、T5 や BART-NER などの生成的PLMを少数-shot NERで効果的に訓練できること。

提案手法

• エンティティタイプのすべての可能な順列を生成し、それをプロンプトベースの順序指示として用いることで、拡張された訓練サンプルを構築する。
• 各々の固有の順序指示を入力文と連結して新しいソース系列を形成し、再順序化されたターゲット系列と一対一のマッピングを確立する。
• これらのペaired系列を用いて、学習中に左から右へのエンティティ順序を強制しない自己回帰的モデルを訓練する。
• 推論時にも同一のプロンプト指示（'from left to right'）を適用することで、標準評価と一貫性を保つ。
• 各訓練例について、1つのソース系列が1つのターゲット系列にのみマッピングされるようにすることで、マルチモダリティ問題を回避する。
• NERの順序に依存しない性質を活用し、エンティティの表記とタイプ情報を保持したまま、意味的に妥当で多様なターゲット系列を生成する。

実験結果

リサーチクエスチョン

• RQ1 シーケンスラベルリングモデル向けに設計されたデータ拡張手法を、NERの統一的自己回帰的生成フレームワークに効果的に適応できるか？
• RQ2 自己回帰的NERにおいて、厳密な左から右へのエンティティ順序仮定を緩和することで、少数-shot環境下でのモデル性能が向上するか？
• RQ3 プロンプトベースの順序指示は、生成的NERモデルのデータ拡張における一対多マッピング問題を解消できるか？
• RQ4 生成された順列の数が、少数-shot NERにおけるモデル性能と汎化性能にどのように影響するか？
• RQ5 提案手法は、T5 や BART-NER などの異なる生成的バックボーンに一般化可能か？

主な発見

• PODAは、CoNLL-2003、ACE-2005、MIT-Movie データセットにおいて、10-shot、20-shot、50-shot の設定すべてでF1スコアを顕著に向上させ、少数-shot NERにおける一貫した性能向上を示した。
• 50-shot設定において、純粋なT5よりもACE-2005で6.07ポイントのF1スコア向上を達成し、低リソース環境下での顕著な性能向上を示した。
• エンティティタイプのすべての順列を使用すると、1つまたは少数の順列のみを使用する場合よりも性能が向上し、図2では順列数の増加に伴い明確な向上が確認された。
• PODAはT5およびFlan-T5の両方を向上させたが、Flan-T5では相対的に小さい向上幅であった。これは、拡張データとインstructチューニング済みデータとの間で分布の不一致が原因である可能性がある。
• BART-NERなどの他の生成モデルに対しても一般化がうまくいき、ベースモデルの性能がT5未満であっても、性能向上を達成した。
• アブレーションスタディにより、プロンプトベースの指示メカニズムが一対多マッピング問題を効果的に回避できており、安定的かつ効果的な学習が可能であることが確認された。