[論文レビュー] Fast Structured Decoding for Sequence Models

Zhiqing Sun, Zhuohan Li+4 more|arXiv (Cornell University)|Oct 25, 2019

Algorithms and Data Compression参考文献 27被引用数 61

ひとこと要約

論文は、ターゲット語の共起をモデル化するCRFベースの構造推論モジュール（NART-CRFとNART-DCRF）を備えた非自己回帰翻訳モデルを導入し、ほぼ自己回帰と同等の精度を大幅なスピードアップとともに達成する。

ABSTRACT

Autoregressive sequence models achieve state-of-the-art performance in domains like machine translation. However, due to the autoregressive factorization nature, these models suffer from heavy latency during inference. Recently, non-autoregressive sequence models were proposed to reduce the inference time. However, these models assume that the decoding process of each token is conditionally independent of others. Such a generation process sometimes makes the output sentence inconsistent, and thus the learned non-autoregressive models could only achieve inferior accuracy compared to their autoregressive counterparts. To improve then decoding consistency and reduce the inference cost at the same time, we propose to incorporate a structured inference module into the non-autoregressive models. Specifically, we design an efficient approximation for Conditional Random Fields (CRF) for non-autoregressive sequence models, and further propose a dynamic transition technique to model positional contexts in the CRF. Experiments in machine translation show that while increasing little latency (8~14ms), our model could achieve significantly better translation performance than previous non-autoregressive models on different translation datasets. In particular, for the WMT14 En-De dataset, our model obtains a BLEU score of 26.80, which largely outperforms the previous non-autoregressive baselines and is only 0.61 lower in BLEU than purely autoregressive models.

研究の動機と目的

• 自己回帰系列モデルの推論待ち時間を犠牲にせずに低減する動機づけ。
• 非自己回帰デコードにおけるマルチモーダルなターゲット分布を捉える構造推論モジュールを統合。
• ニューラル機械翻訳における大規模語彙に適したCRF近似を開発。
• 位置情報コンテキストを豊かにする動的遷移をCRFに導入。
• 標準 MT ベンチマークにおいて非自己回帰モデルの最新性能を示す。

提案手法

• 非自己回帰翻訳を系列ラベリングとして定式化し、隣接トークン依存をモデル化する線形連鎖CRFを適用。
• アーキテクチャを簡素化するため、単純なNARTデコーダ入力（パディングトークンの後にeos）を使用。
• M = E1 E2^T となる2つの遷移埋め込みを用いたCRF遷移行列の低秩近似を導入。
• ビーム近似を適用してCRFデコードの計算量を O(n|V|^2) から O(n k^2) に削減。
• 動的遷移 M^i = E1 M_dynamic^i E2^T を導入し、隣接デコーダ状態に依存する M_dynamic^i によって位置情報の文脈を強化。
• 訓練時にCRF損失と通常のNART損失を組み合わせる： L = L_CRF + λ L_NAR（λ = 0.5）
• 評価は WMT14 En-De/De-En および IWSLT14 De-En で、蒸留とリスコアリングのために Transformer 教師を用いる。

実験結果

リサーチクエスチョン

• RQ1 CRFベースの構造推論モジュールは、局所的ラベル依存をモデル化することで非自己回帰 MT におけるデコードの一貫性と精度を向上させるか。
• RQ2 低秩およびビーム近似は、大規模語彙のNARTにおけるCRFデコードを実現可能にし、性能を犠牲にしないか。
• RQ3 動的CRF遷移は位置情報の文脈を取り入れることで翻訳品質を向上させるか。
• RQ4 NART-CRF/NART-DCRF はBLEUで自己回帰基準にどれだけ近づきつつ、スピードアップを維持できるか。

主な発見

モデル	En-De BLEU	De-En BLEU	IWSLT De-En BLEU	遅延(ms)	自己回帰比スピードアップ
NART	20.27 (7.14)	22.02 (9.27)	23.04 (10.22)	26	11.1x
NART-CRF	23.32 (4.09)	25.75 (5.54)	26.39 (6.87)	35	11.1x
NART-CRF (rescoring 9)	26.04 (1.37)	28.88 (2.41)	29.21 (4.05)	60	6.45x
NART-CRF (rescoring 19)	26.68 (0.73)	29.26 (2.03)	29.55 (3.71)	87	4.45x
NART-DCRF	23.44 (3.97)	27.22 (4.07)	27.44 (5.82)	37	10.4x
NART-DCRF (rescoring 9)	26.07 (1.34)	29.68 (1.61)	29.99 (3.27)	63	6.14x
NART-DCRF (rescoring 19)	26.80 (0.61)	30.04 (1.25)	30.36 (2.90)	88	4.39x
CRF beam size ablation (k varies)	—	—	—	varies with k	—
Rescoring impact (9)	—	—	—	—	—

• NART-CRF/NART-DCRF は、従来の非自己回帰モデルよりもベンチマーク全体で大幅に上回る。
• WMT14 En-De で NART-CRF は BLEU 26.80 を達成（自己回帰モデルと同等、報告セットアップでは AR Transformerより0.61 BLEU 低い）。
• NART-CRF/NART-DCRF は ART に対して大幅な速度アップを実現（約11x Greedyデコード；リスコアリング時は約4.4x）。
• ビームサイズの実験では k=16 がすでに強力な近似を提供；より大きな k は収穫が少ない。
• 動的遷移は En-De、De-En、IWSLT De-En 各タスクでBLEUスコアを改善（控えめはあるが一貫した改善）。
• リスコアリングを用いた NART-CRF/NART-DCRF は自己回帰モデルと比較して精度を保ちつつ待ち時間を削減。