[論文レビュー] MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture

Wancong Zhang, Ieshan Vaidya|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 11被引用数 7

ひとこと要約

本稿では、一般化を向上させるために埋め込みの凸結合を用いる、BERTを自然言語理解（NLU）タスクに微調整するための入力、多様体、CLSレベルのMixUp手法を提案する。実験では、さまざまなNLUタスクにおいて、MixUpがテスト損失とキャリブレーション誤差を最大50％まで低減することを示しており、特にデータ量が少ない条件下での感情分類のような単純なタスクで顕著な効果を発揮する。

ABSTRACT

MixUp is a computer vision data augmentation technique that uses convex interpolations of input data and their labels to enhance model generalization during training. However, the application of MixUp to the natural language understanding (NLU) domain has been limited, due to the difficulty of interpolating text directly in the input space. In this study, we propose MixUp methods at the Input, Manifold, and sentence embedding levels for the transformer architecture, and apply them to finetune the BERT model for a diverse set of NLU tasks. We find that MixUp can improve model performance, as well as reduce test loss and model calibration error by up to 50%.

研究の動機と目的

• コンピュータビジョン分野で用いられるデータ拡張技術であるMixUpを、トランスフォーマー・モデルを対象とする自然言語理解（NLU）分野へ拡張すること。
• 直接的なテキスト入力の補間が困難であることを踏まえ、入力、多様体、CLSレベルの埋め込みレベルでMixUp手法を提案すること。
• 多様なNLUタスクおよびデータ環境下で、MixUpのモデル性能、テスト損失、キャリブレーションへの影響を評価すること。
• BERTにおける一般化および不確実性推定が、特にリソースが限られた条件下で改善されるかどうかを調査すること。

提案手法

• 入力MixUpを提案し、ベータ分布に従う混合係数λを用いて、BERTのトークンレベルの隠れ表現を凸結合で補間する。
• 多様体MixUpを導入し、特定のトランスフォーマー層kにおける隠れ表現にMixUpを適用し、両方の表現とラベルに同じλを用いる。
• CLS MixUpを適用し、[CLS]トークンの表現とそのワンホットラベルのみを混合する。
• 各ミニバッチで混合係数をサンプリングするためにベータ分布（λ ~ β(α, α)）を用い、αは補間のバランスを制御する。
• 標準的な交差エントロピー損失を用いて拡張データでBERTモデルを訓練するが、他のハイパーパrameterおよびアーキテクチャはベースラインと同一に保つ。
• 5つのNLUタスク（IMDb：感情分析、AGNews：多クラス分類、CoLA：受容性評価、RTE：NLI、BoolQ：QA）を対象とし、フルデータおよびリソースが限られた設定で評価を実施。

実験結果

リサーチクエスチョン

• RQ1 生のテキストを補間することが難しいにもかかわらず、BERTトランスフォーマー・アーキテクチャにMixUpを多様なNLUタスクに効果的に適用できるか？
• RQ2 入力、多様体、CLSレベルの異なるMixUpバリアントは、タスクの複雑さに応じて性能、テスト損失、キャリブレーションの観点でどのように比較されるか？
• RQ3 特にリソースが限られた学習環境下で、MixUpは過学習を軽減し、モデルのキャリブレーションを向上させるか？
• RQ4 感情分類と文法的推論のような異なる種類のNLUタスクにおいて、それぞれのMixUpバリアントはどのタスクで最も効果的か？

主な発見

• 多様体MixUpは、キャリブレーション誤差を最大50％まで低減し、テスト損失を顕著に改善した。特にIMDbでは32件のサンプルでの学習でも、フルデータベースラインを上回る性能を示した。
• IMDb や AGNews のような単純なタスクでは、入力MixUpと多様体MixUpがベースラインを上回り、特にリソースが限られた条件下で精度が向上し、テスト損失が低減した。
• CoLA や RTE、BoolQ のような複雑な文法的タスクでは、入力MixUpと多様体MixUpはベースラインを下回ったが、CLS MixUpは性能を維持し、キャリブレーション誤差を低減した。
• すべてのMixUpバリアントが過学習を軽減しており、トレーニング中のテスト損失曲線が滑らかになったことが裏付けられた。特に多様体MixUpはキャリブレーションの向上が最も一貫していた。
• CLS MixUpは、複雑なタスクにおいて性能を損なわず、キャリブレーションを向上させた。ただし、GLUEタスクでは予測精度の向上は見られず、先行研究とは異なる結果を示した。
• 本研究では、MixUpが決定境界を滑らかにし、過学習を軽減することで、特にリソースが限られた環境下でモデルのロバスト性と不確実性推定を向上させることを確認した。