[論文レビュー] Non-Autoregressive Translation by Learning Target Categorical Codes

Yu Bao, Shujian Huang+4 more|arXiv (Cornell University)|Mar 21, 2021

Natural Language Processing Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、ベクトル量子化と条件付きランダムフィールドを用いてターゲット系列内の依存関係を暗黙的に学習する非自己回帰的TransformerモデルCNATを提案する。翻訳品質が著しく向上し、知識蒸留を用いずとも最先端の性能を達成しており、BLEUスコアで強力なベースラインを上回るか同等の性能を維持しながら、高い推論速度を保つ。

ABSTRACT

Non-autoregressive Transformer is a promising text generation model. However, current non-autoregressive models still fall behind their autoregressive counterparts in translation quality. We attribute this accuracy gap to the lack of dependency modeling among decoder inputs. In this paper, we propose CNAT, which learns implicitly categorical codes as latent variables into the non-autoregressive decoding. The interaction among these categorical codes remedies the missing dependencies and improves the model capacity. Experiment results show that our model achieves comparable or better performance in machine translation tasks, compared with several strong baselines.

研究の動機と目的

• 非自己回帰的機械翻訳モデルと自己回帰的モデルの性能差を、ターゲット系列生成における依存関係のモデリングによって是正すること。
• 大規模な離散的コードブックや外部の構文解析器に依存する既存の潜在変数手法の限界を克服すること。
• 教師なしで意味的で次元が低いカテゴリカルコードを学習し、ターゲット側の依存関係を暗黙的に表現すること。
• 訓練中にゲート付きニューラルネットワークとスケジュールドサンプリングを適用することで、モデルの頑健性と性能を向上させること。
• 最小限の計算オーバーヘッドで競争力のある翻訳品質を達成し、非自己回帰的デコードの速度優位性を維持すること。

提案手法

• 小さな集合（128未満）の潜在コードにターゲット表現を量子化することで離散化し、各コードを曖昧な語類別表現として扱う。
• ターゲット言語内の構造的関係を捉えるために、潜在コード間の順序依存関係を条件付きランダムフィールド（CRF）でモデリングする。
• ソース表現と潜在コードを組み合わせるゲート付きニューラルネットワークを用いてデコーダー入力を構築し、特徴の統合を改善する。
• 露出バイアスを軽減し一般化性能を向上させるために、訓練中に自身の予測を露出するスケジュールドサンプリングを適用する。
• 再構成と依存関係モデリングの両方を最適化するため、変分下界の目的関数に基づいてエンドツーエンドでモデルを訓練する。
• 長さ予測とソフトアテンションベースの入力初期化を用いて、並列に完全なターゲット系列を生成する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル量子化によって学習される暗黙のカテゴリカルコードは、非自己回帰的翻訳における依存関係を効果的にモデル化できるか？
• RQ2 潜在コードの依存関係をCRFでモデリングすることで、独立またはヒューリスティックなコード割り当てと比較して翻訳品質がどの程度向上するか？
• RQ3 小さなコードブック（例：128未満）は、大規模なコードブックや外部の構文解析器を代替してNATの性能を向上させられるか？
• RQ4 ゲート付きネットワークとスケジュールドサンプリングの使用は、非自己回帰的モデルの頑健性と一般化性能を向上させるか？
• RQ5 提案手法は、知識蒸留や反復的精錬を用いずとも最先端の性能を達成できるか？

主な発見

• CNATは、知識蒸留を用いず、WMT14およびIWSLT14の翻訳ベンチマークで新たな最先端性能を達成した。
• WMT14 En-DeではBLEUスコア30.2を達成し、強力な非自己回帰的ベースラインを上回り、自己回帰的モデルに近づいた。
• IWSLT14ではEn-DeでBLEUスコア31.8を達成し、多様なドメインにわたる強力な一般化性能を示した。
• クラスタリング評価では、学習された潜在コードが品詞タグとV-measure 0.56を示し、品詞カテゴリと強い意味的整合性があることを示した。
• 品詞タグ整合性のHスコアが0.70であることは、各潜在コードが一貫性があり明確な言語的カテゴリを表していることを確認した。
• 事例研究では、上位の潜在コードが明確な品詞タグ分布を示しており、学習されたコードが意味的で整合性のある言語的構造を捉えていることを裏付けた。