[論文レビュー] Rethinking Perturbations in Encoder-Decoders for Fast Training

Sho Takase, Shun Kiyono|arXiv (Cornell University)|Apr 5, 2021

Natural Language Processing Techniques参考文献 44被引用数 4

ひとこと要約

本論文は、系列対系列タスクにおけるニューラルエンコーダデコーダモデルにおけるさまざまな摂動手法の計算効率と性能を評価する。単純な手法である語のドロップアウトやランダムトークン置換は、スケジュールドサンプリングや敵対的摂動といった複雑な手法と同等またはそれ以上の性能を達成している一方で、はるかに高速であるため、時間制約のある訓練シナリオにおいて優れた選択肢であることが判明した。

ABSTRACT

We often use perturbations to regularize neural models. For neural encoder-decoders, previous studies applied the scheduled sampling (Bengio et al., 2015) and adversarial perturbations (Sato et al., 2019) as perturbations but these methods require considerable computational time. Thus, this study addresses the question of whether these approaches are efficient enough for training time. We compare several perturbations in sequence-to-sequence problems with respect to computational time. Experimental results show that the simple techniques such as word dropout (Gal and Ghahramani, 2016) and random replacement of input tokens achieve comparable (or better) scores to the recently proposed perturbations, even though these simple methods are faster. Our code is publicly available at https://github.com/takase/rethink_perturbations.

研究の動機と目的

• 最近の摂動手法の計算コストと有効性を、系列対系列モデルにおいて評価すること。
• スケジュールドサンプリングや敵対的訓練といった複雑な摂動が、その高い計算オーバーヘッドを考慮すると、本当に必要なのかを調査すること。
• より単純で高速な摂動手法が、最先端の手法と同等の性能を達成できるかどうかを評価すること。
• 今後の研究における強力で効率的なベースラインとして、単純な摂動が有効であるという実証的証拠を提供すること。
• 系列対系列の訓練において、軽量な摂動をデフォルトのベースラインとして採用することで、訓練コストを削減することを促すこと。

提案手法

• 本研究では、主に3つの摂動タイプを比較する：語の置換（例：スケジュールドサンプリング）、語のドロップアウト（ランダムにトークンをマスキング）、および敵対的摂動（埋め込み空間における勾配ベースの摂動）。
• 語の置換に関しては、一様（Rep(Uni)）と単純サンプリング（Rep(Sim)）の両方の戦略を評価し、トークンが語彙からランダムに抽出されたものに置き換えられる。
• 語のドロップアウトは、訓練中に入力トークンをランダムに<UNK>トークンにマスキングすることで実装され、これは言語モデルの文脈で以前に使用された手法である。
• 敵対的摂動は、仮想敵対的訓練（VAT）を用いて実装され、損失を最大化するために埋め込み空間で勾配上昇法により摂動が計算される。
• 実験は、機械翻訳（WMT英語＝ドイツ語）、文法的誤り訂正（BEA）、要約抽出（CNN/DM）の3つのタスクで実施され、すべてTransformerベースのモデルを用いる。
• すべての手法は同一の訓練条件下で評価され、公平な比較を確保するため、訓練時間とモデル性能（BLEU、BLEU-2、BERTScore）を測定した。

実験結果

リサーチクエスチョン

• RQ1 最近開発された複雑な摂動手法（例：スケジュールドサンプリングや敵対的訓練）は、実用的な用途に耐えるだけの計算効率を持っているのか？
• RQ2 語のドロップアウトやランダムトークン置換といった単純で高速な摂動手法が、高度な手法と同等の性能を達成できるのか？
• RQ3 同程度のモデル性能を達成する際、さまざまな摂動戦略の訓練時間はどのように異なるのか？
• RQ4 単純な摂動の有効性は、翻訳、要約、文法的誤り訂正といった異なる系列対系列タスクで異なるのか？
• RQ5 単純な摂動が、今後のニューラルエンコーダデコーダモデル研究における強力で効率的なベースラインとして機能できるのか？

主な発見

• WMT英語＝ドイツ語翻訳タスクにおいて、語のドロップアウト（WDrop）とランダム置換（Rep(Uni) + WDrop）は、敵対的摂動（Adv）と同等のBLEUスコアを達成しており、訓練時間の制約下でも同様の性能を示した。
• 低リソース設定下では、敵対的摂動が高スコアを達成したが、同程度の訓練時間を割り当てられた場合、単純な手法もそれに非常に近い性能を示した。
• Rep(Sim)手法は、他の摂動戦略と比較して優れた耐性を示し、一般化性能の高さが裏付けられた。
• 語のドロップアウトやランダム置換といった単純な摂動手法は、スケジュールドサンプリングや敵対的訓練よりも顕著に高速であり、訓練のオーバーヘッドを削減できた。
• BEA文法的誤り訂正データセットにおいても、Rep(Uni) + WDropおよびRep(Sim) + WDropはAdvと同等の性能を達成しており、翻訳以外のタスクでも単純な手法の有効性が確認された。
• 著者らは、摂動なしのベースラインモデルの性能が、以前の研究よりわずかに劣っていたが、これは訓練のランダム性に起因すると考えられ、すべての摂動手法がこのベースラインを上回る性能を示した。