[論文レビュー] An Empirical Survey of Data Augmentation for Limited Data Learning in NLP

Jiaao Chen, Derek Tam+3 more|arXiv (Cornell University)|Jun 14, 2021

Topic Modeling参考文献 67被引用数 21

ひとこと要約

本論文は、低リソース環境におけるNLPのデータ拡張技術について、包括的な実証的調査を提示している。11のデータセットを対象に、トークンレベル、文レベル、敵対的、および隠れ空間の手法を評価した結果、教師あり学習ではトークンレベルの拡張が最も効果的であり、半教師あり設定では文レベルの拡張が優れていることが判明した。一方で、一部の手法はデータ効率の向上にもかかわらず性能を低下させることがある。

ABSTRACT

NLP has achieved great progress in the past decade through the use of neural models and large labeled datasets. The dependence on abundant data prevents NLP models from being applied to low-resource settings or novel tasks where significant time, money, or expertise is required to label massive amounts of textual data. Recently, data augmentation methods have been explored as a means of improving data efficiency in NLP. To date, there has been no systematic empirical overview of data augmentation for NLP in the limited labeled data setting, making it difficult to understand which methods work in which settings. In this paper, we provide an empirical survey of recent progress on data augmentation for NLP in the limited labeled data setting, summarizing the landscape of methods (including token-level augmentations, sentence-level augmentations, adversarial augmentations, and hidden-space augmentations) and carrying out experiments on 11 datasets covering topics/news classification, inference tasks, paraphrasing tasks, and single-sentence tasks. Based on the results, we draw several conclusions to help practitioners choose appropriate augmentations in different settings and discuss the current challenges and future directions for limited data learning in NLP.

研究の動機と目的

• 低リソース環境における最近のNLPのデータ拡張手法を体系的に評価し、分類すること。
• さまざまなNLPタスクにおいて、トークンレベル、文レベル、敵対的、および隠れ空間の拡張手法の有効性を比較すること。
• タスクの種別とデータの可用性に基づいて、実践者に対してデータ拡張手法の選択に関する実証的ガイダンスを提供すること。
• 拡張が性能を悪化させる場合、特に半教師あり学習においても同様の事例を特定すること。
• データ効率の良いNLPにおける未解決の課題と今後の方向性を強調すること。

提案手法

• 本研究では、語彙の置換、言語モデルによる語の置換、ランダム挿入／削除／交換、文レベルの手法、敵対的摂動、カットオフベースの手法の4つのカテゴリに分けた11のデータ拡張技術を評価した。
• 実験は、テキスト分類、自然言語推論、類似表現抽出、単一文タスクをカバーする11のベンチマークデータセットを対象に実施した。
• GLUEやその他の標準ベンチマークを用い、各クラスに100件のラベル付き例を用いた教師ありおよび半教師あり学習の両設定で評価を行った。
• パフォーマンスは正解率とF1スコアで測定され、3つの異なるランダムシードでの平均値として報告され、95％信頼区間を併記した。
• ラベルの保存性は、20 NewsgroupsとRTEから25例のケーススタディを通じて分析され、拡張処理が元のラベルを変更しないかを評価した。
• 制御されたアブレーションと定性的分析を用いて、拡張がモデルの汎化性能およびロバストネスに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータ下で、さまざまなNLPタスクにおいて、どのデータ拡張手法が最も高いパフォーマンスを発揮するか？
• RQ2 トークンレベルと文レベルの拡張の違いが、教師あり学習と半教師あり学習の両設定でモデルのパフォーマンスに与える影響は何か？
• RQ3 変換処理中に元のラベルがどの程度保存されるか、またラベルの反転がパフォーマンスに与える影響はどの程度か？
• RQ4 どのような状況下でデータ拡張手法が性能を向上させるのではなく、むしろ悪化させるのか？
• RQ5 現在のデータ拡張アプローチが低リソースNLPにおいて示す主な失敗モードと制限は何か？

主な発見

• 語彙の置換や言語モデルによる語の置換といったトークンレベルの拡張は、限られたラベル付きデータ下での教師あり学習設定で、他の手法を常に上回った。
• ランダム挿入や削除を含む文レベルの拡張は、特にRTEやテキスト分類タスクにおいて、半教師あり学習で最高のパフォーマンスを達成した。
• 敵対的および隠れ空間の拡張、たとえば敵対的摂動やカットオフベースの手法は、しばしば性能が低く、特にデータが少ない状況では性能を低下させる傾向がある。
• RTEデータセットでは、言語モデルベースの拡張が24％のケースでラベルを反転させ、予測の信頼度が高くても顕著なパフォーマンスの低下を引き起こした。
• カットオフベースの拡張は96％のケースでラベルを保存し、RTEで最高のパフォーマンスを達成した。これは、ラベルの保存性が成功の鍵であることを示している。
• 驚くべきことに、言語モデルベースや敵対的アプローチといった一部の拡張手法は、半教師あり設定でも性能を低下させることがあり、分布シフトのリスクが顕在化した。