[論文レビュー] LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition

Junjie Ye, Nuo Xu+5 more|arXiv (Cornell University)|Feb 22, 2024

Topic Modeling被引用数 11

ひとこと要約

LLM-DAは大規模言語モデルを活用して、少数ショットNERのための文脈レベルおよびエンティティレベルの高品質な拡張データを生成し、複数のデータセットでモデルの性能を改善する。

ABSTRACT

Despite the impressive capabilities of large language models (LLMs), their performance on information extraction tasks is still not entirely satisfactory. However, their remarkable rewriting capabilities and extensive world knowledge offer valuable insights to improve these tasks. In this paper, we propose $LLM-DA$, a novel data augmentation technique based on LLMs for the few-shot NER task. To overcome the limitations of existing data augmentation methods that compromise semantic integrity and address the uncertainty inherent in LLM-generated text, we leverage the distinctive characteristics of the NER task by augmenting the original data at both the contextual and entity levels. Our approach involves employing 14 contextual rewriting strategies, designing entity replacements of the same type, and incorporating noise injection to enhance robustness. Extensive experiments demonstrate the effectiveness of our approach in enhancing NER model performance with limited data. Furthermore, additional analyses provide further evidence supporting the assertion that the quality of the data we generate surpasses that of other existing methods.

研究の動機と目的

• ラベル付きデータが乏しい状況でNERの性能を向上させることを動機づける。
• 既存の拡張手法における意味的および統語的整合性の問題に対処する。
• LLMのリライトと世界知識を活用して訓練データを多様化・充実させる。
• NERの有用性を最大化するために文脈レベルとエンティティレベルの拡張のバランスを取る。

提案手法

• 文の長さ、語彙、節、スタイルにまたがる14の文脈レベル書き換え戦略を用いて、元のエンティティを保持した多様な文を生成する。
• 訓練データを超えた多様性を広げるため、LLMの世界知識を用いて同じタイプの他のエンティティに置換する。
• 文脈レベルとエンティティレベルの拡張を二段階プロセスで組み合わせる（まず文脈、次にエンティティレベル）、さらに時折ノイズ挿入（綴りの誤り）を行う。
• 拡張データをフィルタリングして、与えられたエンティティを保持する文を残し、それらに元のエンティティタイプを注釈として付ける。
• 拡張データ上でNERモデル（BERT-base-cased と RoBERTa-base）を AdamW を用いて学習し、学習率3e-5、バッチサイズ8、20エポック、早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのデータ拡張は複数のデータセットにおいて少数ショットNERを改善できるか？
• RQ2 文脈レベル、エンティティレベル、および組み合わせ拡張の有効性はどう比較されるか？
• RQ3 ノイズの追加と拡張の順序がモデルの頑健性と性能に与える影響は？
• RQ4 LLM-DAは既存の拡張手法（LSMS、DAGA、MELM）およびChatGPTのゼロショット/少数ショットの性能とどう比較されるか？
• RQ5 LLM-DA生成サンプルのデータ品質（情報量、可読性、文法性）はどの程度か？

主な発見

• LLM-DAはCoNLL’03、OntoNotes 5.0、MIT-Movie、FEW-NERD全体でベースラインに対して少数ショットNERの性能を一貫して向上させる。
• CoNLL’03では、LLM-DAが他の手法よりも少なくとも30ポイントの改善を達成する設定がある。
• 文脈レベルの拡張は小規模データセットでより大きな効果をもたらし、エンティティレベルの拡張はデータセットサイズが大きくなるとより有益になる。
• 両方のレベルの拡張は特定の状況で最良の結果をもたらすことが多いが、過度な文脈ベースの変動は大規模データセットで性能を損なうことがある。
• LLM-DAデータは競合する拡張手法よりも高い言語品質（情報性、可読性、文法性）を示す。
• 小データ条件下で、ChatGPTと比較してLLM-DAは4データセットすべてでゼロショット/少数ショットのChatGPTを一貫して上回る。