[論文レビュー] DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks

Bosheng Ding, Linlin Liu+6 more|arXiv (Cornell University)|Nov 3, 2020

Topic Modeling参考文献 44被引用数 6

ひとこと要約

本稿では、線形化されたラベル付き文を用いて訓練された言語モデルを活用し、高品質な合成データを生成する低リソースな系列タギングタスク向けのデータ拡張手法DAGAを提案する。生成時に単語-タグペアを同時にモデリングすることで、DAGAは多様で文脈的に豊かな訓練例を生成し、モデルの汎化性能を向上させる。特に限定的な正解データがある状況下でも、スレーブおよび半教師あり設定の両方で、NER、POSタギング、センチメント分析の各タスクにおいて一貫してベースラインを上回る性能を発揮する。

ABSTRACT

Data augmentation techniques have been widely used to improve machine learning performance as they enhance the generalization capability of models. In this work, to generate high quality synthetic data for low-resource tagging tasks, we propose a novel augmentation method with language models trained on the linearized labeled sentences. Our method is applicable to both supervised and semi-supervised settings. For the supervised settings, we conduct extensive experiments on named entity recognition (NER), part of speech (POS) tagging and end-to-end target based sentiment analysis (E2E-TBSA) tasks. For the semi-supervised settings, we evaluate our method on the NER task under the conditions of given unlabeled data only and unlabeled data plus a knowledge base. The results show that our method can consistently outperform the baselines, particularly when the given gold training data are less.

研究の動機と目的

• 系列タギングタスク、特に低リソース環境下での注釈付き訓練データの不足という課題に対処すること。
• WordNet や大規模事前学習モデルなどの外部リソースに依存せずに、高品質な合成データを生成するデータ拡張手法の開発。
• 言語モデルによる生成を通じて多様で文脈的に異なる訓練例を導入することで、モデルの頑健性および汎化性能の向上。
• 未ラベルデータや知識ベースを生成プロセスに統合することで、効果的な半教師あり学習を可能にすること。
• 既存データの変更ではなく、元から細粒度のトークンレベルのラベルを生成するという、NLPにおけるデータ拡張の新パラダイムの確立。

提案手法

• 各単語とその対応するタグを連結することで（例："B-PER Jose"）、系列タギング用に適したシーケンスを形成するため、ラベル付き文を線形化する。
• 1層の再帰的言語モデルを線形化されたシーケンス上で学習させ、単語-タグの同時生成パターンを学習する。
• 訓練済み言語モデルからのサンプリングにより合成データを生成し、高い確率のタグ-単語ペアを選択することで、ラベルの一貫性を維持する。
• 未ラベル文や知識ベースエントリを条件として生成に利用することで、半教師あり設定に拡張し、補助データの有効活用を可能にする。
• 利用可能な外部知識（例：エンティティタイプ、場所）を条件付き生成に組み込むことで、エンティティの多様性と現実性を向上させる。
• データのオーバーサンプリングとモデルのファインチューニングを適用し、正解データが限られる状況でも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 線形化されたラベル付き文で訓練された言語モデルは、低リソースな系列タギングタスクの性能向上に寄与する合成データを生成できるか？
• RQ2 DAGAの生成ベースのアプローチは、語義置換や弱ラベル付けといった既存のデータ拡張手法と比較して、頑健性および性能において優れているか？
• RQ3 DAGAは、未ラベルデータや知識ベースをどれだけ活用して、半教師あり設定におけるモデルの汎化性能を向上させられるか？
• RQ4 生成された文脈的に適切なエンティティ（CEs）の多様性は、系列タギングモデルの性能向上と相関しているか？
• RQ5 DAGAの性能は、正解訓練データ量の変動に応じてどのように変化するか、特に低リソース環境下でどうなるか？

主な発見

• DAGAは、NER、POSタギング、E2E-TBSAを含む複数の系列タギングタスクで、正解データが限られる状況下でも一貫して強力なベースラインを上回る性能を発揮する。
• 教師あり設定では、正解データがたった2,000文のみの状況下でも、E2E-TBSAで最大+4.2 F1ポイント、NERで+2.8 F1ポイントのF1スコア向上を達成する。
• 知識ベースを活用したDAGAの手法（gen kb）は、正解データが2,000以上あると、ベースライン（kb）を上回り、外部知識のノイズに対しても頑健であることが示された。
• DAGAは多数の新しい文脈的エンティティ（CEs）を生成し、新規CEと正解CEの比率がF1スコアの向上と正の相関を示しており、モデルの汎化性能の向上を裏付けている。
• DAGAから得られる合成データは、意味的に有意義な多様性をもたらしており、例として「Sandrine Nixon」や「Bank of Alabama」のような新しい名前-場所の組み合わせが生成され、過学習や記憶の回避に寄与している。
• 未ラベルデータの活用により、正解データや知識ベースに存在しない現実的なエンティティが生成可能であり、生テキストからの有効な情報抽出が可能であることが示された。