[論文レビュー] Cascaded Text Generation with Markov Transformers

Yuntian Deng, Alexander M. Rush|arXiv (Cornell University)|Jun 1, 2020

Natural Language Processing Techniques参考文献 67被引用数 11

ひとこと要約

本論文は、マークフ・トランスフォーマーを用いた段階的デコード手法を提案し、部分線形時間の自己回帰的テキスト生成を達成する。ビームサーチの精度と並列推論の高速性を組み合わせたものである。1つのモデルを訓練して段階的に高階のマルコフ依存性をパラメータ化することで、5つの機械翻訳ベンチマークで効率的かつ高品質な生成が可能となり、非自己回帰的ベースラインと同等またはそれを上回る速度と精度を達成した。

ABSTRACT

The two dominant approaches to neural text generation are fully autoregressive models, using serial beam search decoding, and non-autoregressive models, using parallel decoding with no output dependencies. This work proposes an autoregressive model with sub-linear parallel time generation. Noting that conditional random fields with bounded context can be decoded in parallel, we propose an efficient cascaded decoding approach for generating high-quality output. To parameterize this cascade, we introduce a Markov transformer, a variant of the popular fully autoregressive model that allows us to simultaneously decode with specific autoregressive context cutoffs. This approach requires only a small modification from standard autoregressive training, while showing competitive accuracy/speed tradeoff compared to existing methods on five machine translation datasets.

研究の動機と目的

• 完全に自己回帰的なモデルがデコードに逐次的ビームサーチに依存するための非効率性を解消すること。
• 制限されたマルコフ依存性を活用することで、生成品質を損なわず高速で並列化可能なテキスト生成を可能にすること。
• 構造予測のための段階的グラフィカルモデルをパラメータ化できる統一されたニューラルアーキテクチャ「マークフ・トランスフォーマー」を設計すること。
• 既存の非自己回帰的およびビームサーチ手法と比較して、競争力のある速度／精度のトレードオフを達成すること。
• ニューラルテキスト生成における効率的なマルチGPUスケーリングと可変長出力を可能にすること。

提案手法

• 標準的なトランスフォーマーの変種としてのマークフ・トランスフォーマーを導入し、学習中に自己注意を固定された文脈ウィンドウMに制限することで、高階のマルコフ依存性を学習可能にする。
• 段階的デコードを採用：0次（非自己回帰的）モデルから開始し、段階的に文脈を広げた高階のマルコフモデル（1次、2次、…）を用いて予測を繰り返し精緻化する。
• 推論時間に追加コストをかけずに性能を向上させるために、完全な自己回帰的トランスフォーマーから知識を蒸留する。
• n-gramスコアの代わりに最大マージナルスコアを用いることで、不確実なn-gramのプルーニングを効率的に行い、位置間の整合性を高めつつ計算コストを最小限に抑える。
• 各イテレーションでGPU間の通信を最小限に抑えることで、シーケンスをデバイスに分割してマルチGPU推論を実現する。
• 最大尤度推定によりマークフ・トランスフォーマーを学習し、マスクによる文脈カットを強制しながらも、完全な自己回帰的学習目的を維持する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的モデルで部分線形時間のデコードを達成しつつ、高い生成品質を維持できるか？
• RQ2 1つのニューラルモデルが、構造予測のための段階的な高階マルコフモデルの系列をパラメータ化できるか？
• RQ3 マークフ・トランスフォーマーを用いた段階的デコードが、ビームサーチおよび非自己回帰的手法の両方を速度・精度のトレードオフにおいて上回るか？
• RQ4 蒸留により段階的デコードの性能を向上させられ、推論時間に追加コストをかけずに済むか？
• RQ5 本手法は複数のGPUで効率的にスケーリング可能であり、可変長シーケンスの生成をサポートできるか？

主な発見

• WMT14 En-Deで、蒸留を施した段階的マークフ・トランスフォーマーは、推論時間33.45msでBLEUスコア35.03を達成し、非自己回帰的ベースラインを速度と精度の両面で上回った。
• 4次マルコフ・トランスフォーマーにビームサーチ（K=5）を適用した場合、BLEUスコア35.07を達成し、完全なトランスフォーマーの35.63に非常に近い結果を示した。これは、限定的な文脈でも強力な表現力を持つことを示している。
• 長さ制約を適用した段階的デコードは、厳密な長さ制約よりも性能が向上しており、柔軟なシーケンス長モデリングの利点を示した。
• 4台のGPUを用いた場合、1台のGPUでの1.68倍対比で2.79倍の高速化を達成した。これは、局所的な通信により、マルチGPUスケーリングに優れていることを示している。
• WMT14 En-Deの検証セットで、n-gramスコア（123.48ms）と比較して、最大マージナルスコアを用いることでBLEUスコアが28.42から29.24に向上した（128.58ms）。計算コストはわずかに増加したが、効果は顕著であった。
• 本手法はO(log L)の並列時間計算量を達成し、実用的にはlog Lの項が無視できるほど小さく、O(1)の非自己回帰的モデルとほぼ同等の高速性を実現した。