[論文レビュー] Improving Fluency of Non-Autoregressive Machine Translation

Zdeněk Kasner, Jindřich Libovický+1 more|arXiv (Cornell University)|Apr 7, 2020

Natural Language Processing Techniques参考文献 20被引用数 6

ひとこと要約

本論文は、n-gram言語モデル、空白記号の割合、末尾の空白数といった追加特徴をスコアリングモデルに組み込むことで、文の流暢さを向上させる非自己回帰的神経機械翻訳（nAR-NMT）のビームサーチデコード手法を提案する。CTCに基づくnARデコードと構造的パーセプトロンを組み合わせて特徴の重みを学習することで、自己回帰的モデルと同等のBLEUスコアを達成しつつ、標準の自己回帰的モデルよりも1.5倍の高速化を実現した。特にビームサイズ20の条件下で顕著な性能向上が得られた。

ABSTRACT

Non-autoregressive (nAR) models for machine translation (MT) manifest superior decoding speed when compared to autoregressive (AR) models, at the expense of impaired fluency of their outputs. We improve the fluency of a nAR model with connectionist temporal classification (CTC) by employing additional features in the scoring model used during beam search decoding. Since the beam search decoding in our model only requires to run the network in a single forward pass, the decoding speed is still notably higher than in standard AR models. We train models for three language pairs: German, Czech, and Romanian from and into English. The results show that our proposed models can be more efficient in terms of decoding speed and still achieve a competitive BLEU score relative to AR models.

研究の動機と目的

• デコード速度を犠牲にしてでも高速化を図る非自己回帰的機械翻訳（nAR-NMT）モデルにおける文の流暢さの低下を是正すること。
• nARモデルの並列デコード速度の利点を損なわずに翻訳の流暢さを向上させること。
• 外部特徴（例：言語モデル、CTC固有の統計量）を組み込んだスコアリングモデルをビームサーチに導入し、仮説選択を支援すること。
• 調整可能なビームサイズを用いて、デコード速度と翻訳品質のトレードオフをバランスさせること。
• 自己回帰的モデルと比較して最小限の遅延ペナルティで競争力のあるBLEUスコアを達成できることが、nARモデルで実証されること。

提案手法

• 状態分割を用いて並列にターゲットトークンを生成するCTCベースのnARモデルを採用し、計算の完全な並列化を実現する。
• CTC確率P(y|x)と、n-gram言語モデルスコア、空白記号の割合、末尾の空白数といった特徴Φ(y)の重み付き和を組み合わせたスコア関数を用いたビームサーチデコードを実施する。
• 参照翻訳がビーム内に存在しない場合に特徴重みwを更新する構造的パーセプトロンを用いて重みを学習する。
• すべてのトークン確率を同時に計算することで、1回の順方向プロパゲーションで推論を実行し、nARモデルの速度優位性を維持する。
• パーセプトロン学習中に保持済み開発セットを用いて早期停止を実施し、ビームサーチを最適化する。
• ドイツ語、チェコ語、ルーマニア語を含む3つの言語対（英語への翻訳および英語からの翻訳）でWMTテストセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチスコアリングモデルに追加特徴を組み込むことで、非自己回帰的機械翻訳出力の文の流暢さが向上するか？
• RQ2 CTCベースのデコードを用いたnARモデルは、高いデコード速度を維持しつつ、自己回帰的モデルと同等のBLEUスコアを達成できるか？
• RQ3 提案されたnARモデルにおけるビームサイズは、翻訳品質とデコード速度のトレードオフにどのように影響するか？
• RQ4 具体的にどの特徴（例：言語モデル、空白記号統計量）が流暢さ向上に最も寄与しているか？
• RQ5 1回の順方向プロパゲーションによるデコード戦略は、構造的スコアリングによって流暢さを向上させつつ、高い速度を維持できるか？

主な発見

• ビームサイズ20を用いた場合、英語-ドイツ語翻訳でBLEUスコア26.03を達成し、グリーディ自己回帰的デコードと同等の品質を維持しながら、自己回帰的モデルの1.5倍の高速化を実現した。
• ビームサイズを1から5に増加させることで、全言語対で少なくとも3ポイントのBLEUスコア向上が確認され、明確な品質-速度トレードオフの存在が示された。
• CTCスコア、言語モデル、空白比率、末尾空白数の組み合わせが最高のBLEUスコア（26.03）を達成し、単一特徴ベースラインに比べて多特徴スコアリングがより効果的であることが示された。
• 手動評価により、繰り返し語の出現、不適切なフレーズ構成、過度に短い翻訳といった一般的なnARの問題が著しく減少した。
• デコード時間は文の長さに比例して増加するが、特に長い文では自己回帰的モデルに比べて著しく高速である。
• 保持済みセットを用いた早期停止による構造的パーセプトロン学習により、特徴重みが効果的に最適化され、一般化性能と流暢さの向上が達成された。