[論文レビュー] Mixup-Transfomer: Dynamic Data Augmentation for NLP Tasks

Lichao Sun, Congying Xia+4 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 18被引用数 9

ひとこと要約

本論文では、BERTのようなトランスフォーマーに基づくモデルの隠れ表現空間において、入力シーケンスとラベルを線形に補間する動的データ拡張手法であるMixup-Transformerを提案する。この手法は、GLUEベンチマークタスクおよびリソースが限られた設定において顕著な性能向上を達成し、事前学習言語モデルに対するドメインに依存しない効果的な正則化手法としてのmixupの有効性を示している。

ABSTRACT

Mixup is the latest data augmentation technique that linearly interpolates input examples and the corresponding labels. It has shown strong effectiveness in image classification by interpolating images at the pixel level. Inspired by this line of research, in this paper, we explore i) how to apply mixup to natural language processing tasks since text data can hardly be mixed in the raw format; ii) if mixup is still effective in transformer-based learning models, e.g., BERT. To achieve the goal, we incorporate mixup to transformer-based pre-trained architecture, named mixup-transformer, for a wide range of NLP tasks while keeping the whole end-to-end training system. We evaluate the proposed framework by running extensive experiments on the GLUE benchmark. Furthermore, we also examine the performance of mixup-transformer in low-resource scenarios by reducing the training data with a certain ratio. Our studies show that mixup is a domain-independent data augmentation technique to pre-trained language models, resulting in significant performance improvement for transformer-based models.

研究の動機と目的

• 画像認識で有効なmixupが、離散的かつ微分不能な性質を持つテキスト処理に適応可能かどうかを調査すること。
• トランスフォーマーに基づく事前学習言語モデル（例：BERT）内にmixupを適用する可能性と有効性を検討すること。
• 標準的NLPベンチマーク、特にGLUEベンチマークにおいて、フルリソースおよびリソースが限られた学習条件の下でMixup-Transformerの性能を評価すること。
• mixupが事前学習言語モデルに対してドメインに依存しない正則化手法として機能するかどうかを特定すること。

提案手法

• 本手法は、rawなテキストトークンではなく、入力シーケンスの隠れ表現を補間することでmixupを適用し、潜在空間における連続的補間を可能にする。
• 線形補間戦略を用いる：λ × h₁ + (1−λ) × h₂、ここでh₁とh₂は2つの入力シーケンスの隠れ表現であり、λはベータ分布に従うランダムスカラーである。
• ラベルに対しても同じλを用いて補間し、訓練中に混合サンプルのソフトラベルを生成する。
• このフレームワークは、アーキテクチャの変更なしに、標準的なエンドツーエンドのトランスフォーマー基盤モデルの学習パイプラインに統合される。
• 本手法は、事前学習モデルの構造を維持しつつ、順伝搬中に隠れ空間での混合を介してデータ拡張を導入する。

実験結果

リサーチクエスチョン

• RQ1 テキストの離散的かつ微分不能な性質を考慮すると、mixupは自然言語処理タスクに効果的に適用可能か？
• RQ2 トランスフォーマーに基づく事前学習モデル（例：BERT）にmixupを適用することで性能が向上するか？
• RQ3 Mixup-Transformerは、標準的およびリソースが限られた学習レジーム下で、GLUEのような標準的NLPベンチマークでどのように性能を発揮するか？
• RQ4 mixupは事前学習言語モデルに対してドメインに依存しない正則化手法と見なせるか？

主な発見

• Mixup-Transformerは、BERTベースのモデルに適用することで、GLUEベンチマークの複数のタスクで顕著な性能向上を達成する。
• 本手法は、訓練データが特定の比率で削減されたリソースが限られた設定でも、一貫してモデルの一般化性能を向上させる。
• mixupによる向上効果は、多様なNLPタスクにわたり観察され、そのドメインに依存しない汎用性と広範な適用可能性を示している。
• 隠れ表現空間におけるmixupの有効性は、潜在空間での補間がテキストデータに対して実行可能かつ有益であることを示しており、その有効性が保たれている。