[論文レビュー] A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond

Yisheng Xiao, Lijun Wu+5 more|arXiv (Cornell University)|Apr 20, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本調査は、ニューラル機械翻訳（NMT）およびそれ以上の分野における非自己回帰的（NAR）生成について包括的な概要を提供し、データ操作、モデリング、学習基準、デコード、事前学習モデルの分野で体系的にアプローチを分類している。最近の進展により自己回帰モデルとの性能差が縮小された一方で、依存関係モデリングや知識蒸留への依存といった課題が強調されており、今後の研究および実用的導入のための知見を提供している。

ABSTRACT

Non-autoregressive (NAR) generation, which is first proposed in neural machine translation (NMT) to speed up inference, has attracted much attention in both machine learning and natural language processing communities. While NAR generation can significantly accelerate inference speed for machine translation, the speedup comes at the cost of sacrificed translation accuracy compared to its counterpart, autoregressive (AR) generation. In recent years, many new models and algorithms have been designed/proposed to bridge the accuracy gap between NAR generation and AR generation. In this paper, we conduct a systematic survey with comparisons and discussions of various non-autoregressive translation (NAT) models from different aspects. Specifically, we categorize the efforts of NAT into several groups, including data manipulation, modeling methods, training criterion, decoding algorithms, and the benefit from pre-trained models. Furthermore, we briefly review other applications of NAR models beyond machine translation, such as grammatical error correction, text summarization, text style transfer, dialogue, semantic parsing, automatic speech recognition, and so on. In addition, we also discuss potential directions for future exploration, including releasing the dependency of KD, reasonable training objectives, pre-training for NAR, and wider applications, etc. We hope this survey can help researchers capture the latest progress in NAR generation, inspire the design of advanced NAR models and algorithms, and enable industry practitioners to choose appropriate solutions for their applications. The web page of this survey is at \url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications}.

研究の動機と目的

• 非自己回帰的ニューラル機械翻訳（NAT）モデルにおける最近の進展を体系的にレビューし、分類すること。
• NATの核心的な課題、すなわちターゲット側の依存関係を捉えられないことによる翻訳品質の低下を特定し、分析すること。
• データ操作、モデリング、学習基準、デコード、事前学習の各戦略がNAT性能をどのように向上させるかを評価・比較すること。
• NMTにとどまらず、テキスト要約、音声認識、スタイル変換など多様な応用分野への応用を拡張すること。
• 未解決の問題と今後の研究方向性を特定すること。特に、知識蒸留への依存を減らし、NARモデルのための事前学習を強化することを含む。

提案手法

• データ操作、モデリングアーキテクチャ、学習基準、デコードアルゴリズム、事前学習モデルの活用という5つの主要分野にNAT手法を分類すること。
• イテレーションベース、潜在変数ベース、強化ベースのモデリング技術を分析し、ターゲット側の依存関係をモデル化すること。
• 知識蒸留、尤度最大化、最近の統合フレームワークといった学習目的を調査し、尤度に基づく学習を再考するもの。
• イテレーティブな改善やイテレーティブなアテンションといったデコード戦略を評価し、NAR生成の品質を向上させること。
• 事前学習モデルをNARフレームワークに統合し、特に低リソースおよび多言語環境での性能向上を図ること。
• テキスト音声変換、音声翻訳、コード補完、時系列予測など、多様なNLPおよび音声応用分野への分析を拡張すること。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰モデルは、推論速度と翻訳精度の観点で自己回帰モデルと比べてどのように異なるか？
• RQ2 NAR生成における主な技術的課題、特にターゲット側の依存関係をモデル化できないこととは何か？
• RQ3 データ操作、モデリング設計、学習基準がNAR性能をどれほど向上させられるか？
• RQ4 知識蒸留は、NARモデルと自己回帰モデルとの性能差をどれほど縮められるか？
• RQ5 低リソース、多言語、翻訳以外のタスクへのNARモデルの応用の見通しと限界は何か？

主な発見

• 知識蒸留は、NARモデルの性能向上に最も効果的な方法であるが、自己回帰モデルの事前学習に依存するため、スケーラビリティに制限が生じる。
• イテレーションベースのNARモデルは、自己回帰モデルに近い性能を達成するが、大バッチ推論では順次デコードステップのため、速度優位性を失う。
• NAR学習における単純な尤度最大化は、トークン間の依存関係を保持できず、周辺分布の近似にとどまり、生成品質が低下する。
• 自己回帰モデルでは画期的な影響を与えた事前学習技術は、NARモデルではまだ十分に活用されていないため、今後の研究において大きな機会が存在する。
• NAR手法は、テキスト要約、音声対音声翻訳、コード補完、時系列予測など多様なタスクに成功裏に拡張されており、広範な適用可能性を示している。
• 音声分野における非自己回帰アーキテクチャの応用——ボイストランスレーションや唇から音声への変換——は、GANベースのボコーラーとストリーミング設計により、高い推論効率と改善された音声品質を実現している。