[論文レビュー] Depth-Adaptive Transformer

Maha Elbayad, Jiatao Gu+2 more|arXiv (Cornell University)|Oct 22, 2019

Neural Networks and Applications参考文献 18被引用数 61

ひとこと要約

この論文は、適応的デコード深さを備えたTransformerベースのシーケンス-ツー-シーケンスモデルを拡張し、中間のデコーダ層での予測と終了を学習して、速度と精度のバランスを取ります。翻訳タスクで品質低下はほとんどなく、顕著な速度向上を示します。

ABSTRACT

State of the art sequence-to-sequence models for large scale tasks perform a fixed number of computations for each input sequence regardless of whether it is easy or hard to process. In this paper, we train Transformer models which can make output predictions at different stages of the network and we investigate different ways to predict how much computation is required for a particular sequence. Unlike dynamic computation in Universal Transformers, which applies the same set of layers iteratively, we apply different layers at every step to adjust both the amount of computation as well as the model capacity. On IWSLT German-English translation our approach matches the accuracy of a well tuned baseline Transformer while using less than a quarter of the decoder layers.

研究の動機と目的

• 固定計算量を削減するための深さ適応デコードの実現を動機づける。
• シーケンスごとまたはトークンごとにデプロイ深さを予測する機構を開発する。
• Transformerで安定した動的計算を実現するための訓練方式（整合訓練と混合訓練）を調査する。
• 速度と精度のトレードオフを最適化するための複数の退出分類器と訓練目標を探る。
• IWSLTおよびWMT翻訳ベンチマークで有効性を示す。

提案手法

• 各デコーダブロックの出力に退出分類器を取り付け、複数の深さで予測を可能にする。
• 早期退出を使用する際の訓練と推論の不一致を処理するために整合訓練または混合訓練を使用する。
• 系列ごとまたはトークンごとの深さをモデル化し、退出確率q_t(n)を訓練して退出ベースのオラクルに対して学習する。
• スカラーαを介して退出損失とデコード損失を組み合わせ、速度と精度のトレードオフを制御する。
• 系列特有の深さ（多項分布的退出と幾何風退出）とトークン特有の深さ（多項分布的退出と幾何風退出）を試す。
• IWSLT’14 De-EnおよびWMT’14 En-Frを標準のTransformerベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 Transformerデコーダが再訓練なしで中間レイヤーから出力を生成できるか？
• RQ2 ニューラル機械翻訳における最良の速度-精度トレードオフを生み出す深さ予測の機構は何か？
• RQ3 整合訓練と混合訓練は動的深さモデルの性能と安定性にどう影響するか？
• RQ4 どの退出分類器設計（多項分布型 vs 幾何風）とオラクル案内がデコードの効率性を最適化するか？
• RQ5 深さ適応アプローチは小規模タスク(IWSLT)から大規模タスク(WMT)へどのようにスケールするか？

主な発見

モデル	n=1	n=2	n=3	n=4	n=5	n=6	平均 BLEU
Baseline	-	34.2	35.3	35.6	35.7	35.6	35.4
Aligned (ω=1)	35.5	34.1	35.5	35.8	36.1	36.1	35.6
Mixed M=1	34.1	32.9	34.3	34.5	34.5	34.6	34.5
Mixed M=3	35.1	33.9	35.2	35.4	35.5	35.5	35.2
Mixed M=6	35.3	34.2	35.4	35.8	35.9	35.8	35.5

• 適応的深さはIWSLT De-Enで3つ未満のデコーダーブロックを使用しつつ6層Transformerと同等の精度を達成できる。
• 整合訓練は固定出口およびランダム退出の双方で混合訓練より優れており、計算効率が高い。
• 幾何風退出を用いたトークン特異的深さと正解ベースのオラクルは強力な速度-精度のトレードオフを提供し、ベースラインBLEUに近づくか同等に近づくが、ブロック数は大幅に削減される。
• WMT’14 En-Frでは適応的深さ法が最良のベースラインBLEUに近づく一方、デコードブロックを40-60%削減する効果があるが、規模が小さいタスクほど改善度は大きい。
• 閾値検知退出は完全なモデルの精度と同等の速度向上を可能にするが、大規模語彙では各トークン分類器のオーバーヘッドが大きくなる可能性がある。