[論文レビュー] On the Learning of Non-Autoregressive Transformers

Fei Huang, Tianhua Tao+3 more|arXiv (Cornell University)|Jun 13, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、非自己回帰的トランスフォーマー（NATs）が、条件付き総相関（C´）で測定される情報損失のため、トークン間の依存関係を学習できないことを特定している。これは、最大尤度推定（MLE）の根幹を揺るがすものである。これを解決するために、著者らは、先行研究の成功が、C´が低減された代理分布上で暗黙的に学習していることを見出し、それらの観点を統合したフレームワーク—最大代理尤度推定（MPLE）—を提案する。このフレームワークにより、尤度が低いにもかかわらず生成品質が向上する新しい訓練目的の設計が可能となり、結果として生成品質が向上する。

ABSTRACT

Non-autoregressive Transformer (NAT) is a family of text generation models, which aims to reduce the decoding latency by predicting the whole sentences in parallel. However, such latency reduction sacrifices the ability to capture left-to-right dependencies, thereby making NAT learning very challenging. In this paper, we present theoretical and empirical analyses to reveal the challenges of NAT learning and propose a unified perspective to understand existing successes. First, we show that simply training NAT by maximizing the likelihood can lead to an approximation of marginal distributions but drops all dependencies between tokens, where the dropped information can be measured by the dataset's conditional total correlation. Second, we formalize many previous objectives in a unified framework and show that their success can be concluded as maximizing the likelihood on a proxy distribution, leading to a reduced information loss. Empirical studies show that our perspective can explain the phenomena in NAT learning and guide the design of new training methods.

研究の動機と目的

• 最大尤度訓練が非自己回帰的トランスフォーマー（NATs）において、低遅延であるにもかかわらず、なぜ高品質な出力を生まないのかを理解すること。
• 尤度は低いが生成品質は高いという、先行NAT訓練目的の実証的成功を説明すること。
• 条件付き総相関（C´）が低減された代理分布に基づく、既存のNAT訓練手法を統一的に形式化するフレームワークを定式化すること。
• 生成性能と相関する一般化された目的関数を導出し、新しい訓練手法の設計を支援すること。

提案手法

• 理論的分析により、NATsにおける直接的なMLE訓練は周辺分布の近似に帰着し、トークン間の依存関係が失われる。この損失は、データセットの条件付き総相関（C´）で定量化される。
• 本論文は、統合的フレームワーク—最大代理尤度推定（MPLE）—を導入し、先行手法を、C´が低減された代理分布⟨X+Z, T⟩上で尤度を最大化していると再解釈する。ここでZとTはC´の低減を目的として設計される。
• 代理ターゲットTは、NATの損失と、複数の教師モデルとの間のBLEUスコアによる近似で得られるターゲット歪み項の合成目的を最小化することで選択される。
• 複数の教師出力の重み付けに用いるハイパーパrameterは、再訓練を要せず、複数の参照文を含むデータセット上で手動サーチにより最適化され、実データ歪みを最小化する。
• 本手法はGLATおよびKDに適用され、動的KDを用いて代理ターゲットを選択するが、選択段階ではZを無視することで分散を低減する。
• 実験では、標準的なWMTベンチマーク（WMT14 En-De、WMT17 Zh-En）を用い、8枚のV100 GPUで混合精度訓練を実施。評価は最良の5つのチェックポイントを平均化して実施。

実験結果

リサーチクエスチョン

• RQ1 尤度が高いにもかかわらず、非自己回帰的トランスフォーマー（NATs）で最大尤度推定（MLE）が高品質な出力を生まないのはなぜか？
• RQ2 知識蒸留（KD）やGLATのような訓練目的は、尤度が著しく低いにもかかわらず、なぜ高い生成品質を達成できるのか？
• RQ3 多様なNAT訓練目的の成功を支える共通の性質は何であり、それをどのように形式化できるか？
• RQ4 データセットの条件付き総相関（C´）をどのように用いて、NAT学習における情報損失を測定・低減できるか？
• RQ5 先行研究の成功を説明し、より効果的なNAT訓練目的の設計を支援する統合的フレームワークを導出できるか？

主な発見

• NATsにおける直接的なMLE訓練は、ターゲットトークンの周辺分布の近似に帰着するが、トークン間の依存関係が失われる。この情報損失は、データセットの条件付き総相関（C´）で定量化される。
• 知識蒸留（KD）やGLATといった先行成功手法は、元のデータよりもC´が低い代理分布上で暗黙的に学習していることが示され、情報損失が低減されている。
• 提案された最大代理尤度推定（MPLE）フレームワークにより、既存の目的が代理分布上の尤度最大化としてモデル化され、それらの成功の理論的根拠が提供される。
• 実験的結果から、代理分布のC´が生成性能と強く相関しており、その最適化により尤度が低くてもBLEUスコアが向上することが示された。
• WMT14 En-Deでは、提案された動的KD + GLAT手法が、MLE（BLEU 28.1）およびGLAT+KD（BLEU 29.5）を上回るBLEUスコア30.8を達成し、代理ベースのアプローチの有効性が裏付けられた。
• 異なるベンチマークでも本手法は頑健であり、WMT17 Zh-Enの結果から一貫した改善が得られ、フレームワークの一般化可能性が検証された。