[論文レビュー] FactMix: Using a Few Labeled In-domain Examples to Generalize to Cross-domain Named Entity Recognition

Linyi Yang, Lifan Yuan+3 more|arXiv (Cornell University)|Aug 24, 2022

Topic Modeling被引用数 9

ひとこと要約

FactMixは、少数のラベル付きドメイン内例から文脈レベルおよびエンティティレベルの準事実的例を生成する、モデルに依存しない2段階のデータ拡張手法を提案する。この手法は、few-shotクロスドメイン名前付きエンティティ認識（NER）の性能を著しく向上させ、プロンプトチューニングや先行のデータ拡張技術を含む最先端手法を上回る。

ABSTRACT

Few-shot Named Entity Recognition (NER) is imperative for entity tagging in limited resource domains and thus received proper attention in recent years. Existing approaches for few-shot NER are evaluated mainly under in-domain settings. In contrast, little is known about how these inherently faithful models perform in cross-domain NER using a few labeled in-domain examples. This paper proposes a two-step rationale-centric data augmentation method to improve the model's generalization ability. Results on several datasets show that our model-agnostic method significantly improves the performance of cross-domain NER tasks compared to previous state-of-the-art methods, including the data augmentation and prompt-tuning methods. Our codes are available at https://github.com/lifan-yuan/FactMix.

研究の動機と目的

• ドメイン外設定に移行する際の少数ショット Named Entity Recognition (NER) の一般化性能の低さという課題に対処すること。
• エンティティラベルと非エンティティトークンの間の誤った相関関係がクロスドメイン移行を妨げるのを軽減すること。
• 少数のラベル付きドメイン内例のみを用いてモデルの一般化性能を向上させるデータ拡張手法を開発すること。
• 微調整およびプロンプトチューニングの両方の設定で効果的な、モデルに依存しないフレームワークを構築すること。
• 準事実的データからの対照的例を活用して、ラベル依存関係の因果的理解を強化すること。

提案手法

• FactMixは、非エンティティトークンをマスクし、マスクされた言語モデルからの予測で置き換えることで、文脈レベルの準事実的例を生成する。
• エンティティの表記を同じタイプの他のエンティティに置き換えることで、文脈構造を保持したままエンティティレベルの準事実的例を生成する。
• この2種類の拡張例を2段階の対照的学習フレームワークに統合し、モデルのロバスト性を向上させる。
• このアプローチはモデルに依存せず、微調整およびプロンプトチューニングの両方の設定に適用可能である。
• 同義語置換とマスク言語モデルを用いて、多様で意味的に妥当な訓練インスタンスを生成する。
• スパイルスなトークン-ラベル相関に依存するのを減らすために、文脈およびエンティティコンテンツに制御された変化を導入するように拡張プロセスを設計している。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付きドメイン内例を活用して、クロスドメインNERの一般化性能を向上させることができるか？
• RQ2 準事実的例を用いた対照的学習が、ドメイン間でのモデル一般化にどのように影響するか？
• RQ3 文脈レベルおよびエンティティレベルのデータ拡張は、NERモデルにおける誤った相関関係を軽減するか？
• RQ4 低リソースのクロスドメイン設定において、FactMixはプロンプトチューニングや先行のデータ拡張手法と比較してどのように性能を発揮するか？
• RQ5 FactMixのパフォーマンスを最大化するために、最適な訓練例の数と拡張比は何か？

主な発見

• 5ショットプロンプトチューニング設定下で、CoNLL2003テストセットにおいて88.51の最高マイクロF1スコアを達成し、EntLMおよび他のベースラインを上回った。
• 低オーバーラップのScienceデータセットでは、FactMixが18.62のF1を達成し、EntLMおよび他の手法を著しく上回った。これは、強いOOD一般化性能を示している。
• ドメイン内訓練例を100件にした場合、FactMixは標準的な微調整よりも性能を向上させ、CoNLL2003でZeng et al. (2020)を最大4.5%のF1向上で上回った。
• さまざまな拡張比において一貫した向上を示し、1:4以上で最適なパフォーマンスを発揮したが、1:8を超えると向上が鈍った。
• FactMixは微調整およびプロンプトチューニングの両方で安定したパフォーマンスを示し、BERT-largeでもパフォーマンス低下を示さなかった。これは、先行のデータ拡張手法とは対照的である。
• アブレーションスタディの結果、文脈レベルおよびエンティティレベルの準事実的生成の両方がパフォーマンス向上に寄与しており、1段階の拡張よりも2段階の対照的設定がより効果的であることが確認された。