[論文レビュー] End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification

Jindřich Libovický, Jindřich Helcl|arXiv (Cornell University)|Nov 12, 2018

Natural Language Processing Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、自己回帰的でないニューラル機械翻訳モデルを、接続主義的時系列分類（CTC）を用いて、反復的精練を経ずに並列デコードを可能にするエンド・ツー・エンドの非自己回帰的アプローチを提案する。エンコーダー出力をより長い系列に投影し、CTC損失を適用することで、自己回帰的ベースラインと比較して4倍の高速化を達成しながら、英語–ルーマニア語および英語–ドイツ語タスクで自己回帰的BLEUスコアの80–90％の翻訳品質を維持する。

ABSTRACT

Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the translation quality comparable to other non-autoregressive models.

研究の動機と目的

• 推論における逐次的ボトルneckを解消し、推論時に完全な並列化を可能にする。
• 分離された段階や反復的精練を必要としないエンド・ツー・エンドで訓練可能な非自己回帰的NMTモデルを構築する。
• 自己回帰的モデルよりも顕著に高速化された推論速度を維持しながら、競争力のある翻訳品質を実現する。
• アライメントの監視なしに、シーケンス・ツー・シーケンス翻訳のための統一的訓練目的として、接続主義的時系列分類（CTC）の使用を検討する。

提案手法

• モデルは、各エンコーダー出力をk個のベクトルに可学習的変換により拡張するTransformerエンコーダーを用い、k×Tx長の系列sを生成する。
• CTCスタイルのデコーダーが、自己回帰的制約なしに、並列に出力トークンまたはヌル記号を生成する。
• CTC損失は、出力系列と参照との間のすべての有効なアライメントの確率を、前向き・後向きアルゴリズムを用いて合計する。
• 分離された長さ推定や反復的精練ステップを不要にするために、エンド・ツー・エンドでCTC目的関数を用いて訓練する。
• 自己注意機構におけるマスキングの使用を回避することで、推論時に完全な並列化を実現する。

実験結果

リサーチクエスチョン

• RQ1 CTCを用いて、分離された長さ推定や反復的精練なしに、エンド・ツー・エンドで訓練可能な非自己回帰的NMTモデルは構築可能か？
• RQ2 エンド・ツー・エンドでCTCに基づく非自己回帰的モデルの翻訳品質は、自己回帰的およびマルチステージ非自己回帰的ベースラインと比較していかほどか？
• RQ3 分割要因kがモデル性能および推論効率に与える影響はどの程度か？
• RQ4 CTCベースのモデルにおいて、ヌル記号の数と翻訳品質との間に相関関係があるか？

主な発見

• 自己回帰的ベースラインと比較して、デコード時間で4倍の高速化を達成。英語–ドイツ語翻訳において、GPU上での平均推論時間は350msであった。
• WMT英語–ドイツ語翻訳タスクにおいて、en-deでは25.12 BLEU、de-enでは28.89 BLEUを達成し、自己回帰的ベースラインの性能の80–90％を実現した。
• モデルの性能はヌル記号の数とやや相関している（r = 0.15）ことから、分割要因kを増加させることで結果が改善する可能性があるが、メモリ使用量の増加を伴う。
• 非自己回帰的モデルでは、長めのソース文において文単位のBLEUスコアがややより顕著に低下する（r = -0.42）のに対し、自己回帰的モデルではやや低い（r = -0.39）ため、やや大きな長さ一般化ギャップが存在する。
• 手動評価では、非自己回帰的モデルは正しく翻訳された翻訳文の割合が低い（23％ vs 65％）一方で、動詞の欠落や名前付きエンティティの破損などの誤りを多く報告したが、BLEUスコアでは一部の先行非自己回帰的手法を上回った。