[論文レビュー] Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement

Jason Lee, Elman Mansimov+1 more|arXiv (Cornell University)|Feb 19, 2018

Natural Language Processing Techniques被引用数 27

ひとこと要約

この論文は、逐次的な推論を伴うビームサーチに比べて2–3倍速く、高い生成品質を維持しながらデコードを高速化する、反復的精錬を用いた決定的で非自己回帰的シーケンスモデルを提案する。潜在変数上のノイズ除去ステップの系列としてシーケンス生成をモデル化することで、機械翻訳では翻訳品質の90–95％、画像キャプション生成では85％の品質を達成した。

ABSTRACT

We propose a conditional non-autoregressive neural sequence model based on iterative refinement. The proposed model is designed based on the principles of latent variable models and denoising autoencoders, and is generally applicable to any sequence generation task. We extensively evaluate the proposed model on machine translation (En-De and En-Ro) and image caption generation, and observe that it significantly speeds up decoding while maintaining the generation quality comparable to the autoregressive counterpart.

研究の動機と目的

• ビームサーチのような近似的で逐次的な推論に依存する自己回帰的シーケンスモデルのデコード速度の遅さを解消すること。
• 速度を犠牲にしない非自己回帰的モデルの性能ギャップを、構造的で反復的な精錬プロセスを導入することで是正すること。
• 確率的サンプリングを避ける決定的でエンドツーエンドで学習可能なシーケンスモデルを構築し、高い生成品質を維持すること。
• シーケンス変換タスクにおける参照シーケンスとの整合性を損なわず、並列化可能で低遅延の推論を可能にすること。
• 機械翻訳を越えて、画像キャプション生成などの他のシーケンス生成タスクにも一般化可能なアプローチを構築すること。

提案手法

• 出力シーケンスを段階的に精錬する$L$個の中間状態を有する潜在変数モデルとしてモデルを定式化する。
• 各精錬ステップをノイズ除去オートエンコーダとしてモデル化し、汚染されたバージョンからターゲットシーケンスの再構築を学習する。
• 変分下界の最大化と再構築誤差の最小化を組み合わせたハイブリッド学習目的関数を採用する。
• 速度と品質のバランスを取るために、適応的ステップ数を用いた反復的デコード戦略を実装する。
• エンコーダ・デコーダアーキテクチャにTransformerを採用し、デコーダーを繰り返し適用して予測を精錬する。
• 訓練中に、ターゲットシーケンスの一部をランダムにマスキングまたは汚染する腐食プロセスを適用し、ノイズ入力を模擬する。

実験結果

リサーチクエスチョン

• RQ1 決定的で非自己回帰的フレームワークにおける反復的精錬は、並列デコードを可能にしつつ、自己回帰的モデルと同等の生成品質を達成できるか？
• RQ2 精錬ステップ数は、推論速度と生成品質のトレードオフにどのように影響するか？
• RQ3 ノイズ除去オートエンコーダーの目的関数は、シーケンス生成における長距離依存関係のモデリングをどの程度改善できるか？
• RQ4 提案手法は、機械翻訳を越えて、多様なシーケンス変換タスクにも一般化可能か？
• RQ5 訓練時の腐食戦略は、推論時に正しいシーケンスを回復する能力にどのように影響するか？

主な発見

• 機械翻訳タスクにおいて、GPUおよびCPUの両方でビームサーチに比べて2–3倍速くデコード可能であり、品質の低下は最小限に抑えられた。
• IWSLT’16 En→De、WMT’16 En→Ro、WMT’14 En→Deの各設定において、自己回帰的TransformerベースラインのBLEUスコアの90–95％を維持した。
• 画像キャプション生成では、GPUで3倍、CPUで5倍高速にデコード可能であり、キャプション品質（CIDErスコア）は85％を保持した。
• 定性的な分析から、各精錬ステップで出力が段階的に改善されており、欠落していた語の追加、誤りの削除、および「at the time」や「holding a racquet」のようなフレーズの精錬が行われていることが示された。
• 反復的精錬プロセスは、構造的および意味的改善を的確に捉えており、ランダムなノイズではなく、意味的に意味のある変化が部分列に生じていることが確認された。
• 強力な高速化が達成された一方で、依然として自己回帰的ベースラインに劣る生成品質を示しており、未だ埋めるべきギャップが存在することが示された。