[論文レビュー] Does Data Augmentation Improve Generalization in NLP?

Rohan Jha, Charles Lovering+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 44被引用数 13

ひとこと要約

この論文は、反例を用いたデータ拡張が自然言語処理（NLP）における一般化を改善するかを調査し、弱い特徴と強い特徴が競合する合成タスクでモデルの性能をテストしている。その結果、データ拡張はしばしば改善の前に性能を悪化させ、強い特徴を抽出するのが難しい場合や、訓練データに強い特徴が存在しない場合にはまったく効果を示さないことが判明した。

ABSTRACT

Neural models often exploit superficial features to achieve good performance, rather than deriving more general features. Overcoming this tendency is a central challenge in areas such as representation learning and ML fairness. Recent work has proposed using data augmentation, i.e., generating training examples where the superficial features fail, as a means of encouraging models to prefer the stronger features. We design a series of toy learning problems to test the hypothesis that data augmentation leads models to unlearn weaker heuristics, but not to learn stronger features in their place. We find partial support for this hypothesis: Data augmentation often hurts before it helps, and it is less effective when the preferred strong feature is much more difficult to extract than the competing weak feature.

研究の動機と目的

• 反例を用いたデータ拡張が、モデルが弱い表面的特徴を学習をやめ、より強力で一般化しやすい特徴を学習するのを助けるかどうかを評価すること。
• NLPにおけるモデルの一般化がデータ拡張によってどのように向上するかの条件を調査すること。
• 現実世界のNLPタスクに存在する混同要因からデータ拡張の影響を分離すること。
• データ拡張後、モデルが強い特徴にシフトするのか、それとも新たな意図しない弱い特徴を採用するのかを評価すること。
• 特徴抽出のしやすさとデータ分布が、データ拡張戦略の成功に果たす役割を特定すること。

提案手法

• 強い特徴（完全に予測可能だが抽出が難しい）と弱い特徴（抽出が簡単だが信頼性が低い）を備えた合成バイナリ系列分類タスクを設計する。
• 埋め込み層、1層のLSTM、ReLU活性化関数を備えた全結合MLPを備えたLSTMベースのモデルを用いて系列を分類する。
• 弱いヒューリスティックに依存するのを防ぐために、強い特徴のみまたは弱い特徴のみが存在する反例を生成する。
• 訓練データの1%から100%まで varying なレベルのデータ拡張を適用し、テストセットでは強い特徴のみが存在する例で評価する。
• 強い特徴への依存度をテストする例での精度を主な指標として、モデルのパフォーマンスを測定する。
• 特徴の複雑さを定量化するために最小記述長（MDL）を用い、モデルが特徴を検出するのがどれほど難しいかを評価する。

実験結果

リサーチクエスチョン

• RQ1 反例を用いたデータ拡張により、モデルは弱い特徴を学習をやめ、より強力で一般化しやすい特徴にシフトするのか？
• RQ2 強い特徴の抽出が難しいほど、データ拡張の有効性は低下するのか？
• RQ3 データ拡張により一時的なパフォーマンス低下が生じ、その後改善する現象が見られるのか。その理由は何か？
• RQ4 反例を追加しても一般化が向上しない条件は何か？
• RQ5 強い特徴が訓練データに存在しない、または極めてまれな場合、データ拡張は有効なのか？

主な発見

• データ拡張はしばしば、わずかに反例を追加した段階で、モデルが新しい意図しない弱い特徴にシフトするため、性能が一時的に悪化する。
• 強い特徴の抽出がMDL複雑度で測定して難しくなると、データ拡張の有効性は著しく低下する。
• 強い特徴が訓練データに存在しない、または極めてまれな場合、反例を大量に挿入してもデータ拡張に効果がない。
• 低水準の拡張（例：訓練データの≤1%）で訓練されたモデルは、強い特徴のみが存在する例を正しく分類できないため、望ましい一般化へのシフトが見られない。
• 反例が存在するだけでは強い特徴の学習を促進できない。拡張が有効になるためには、強い特徴が既にデータに十分に存在している必要がある。
• 評価が特定の現象に限定されている場合、モデルが新たなヒューリスティックを活用するだけで、頑健な表現を学習しているわけではないため、データ拡張によるパフォーマンス向上は誤解を招く可能性がある。