[論文レビュー] Non-autoregressive Transformer by Position Learning

Yu Bao, Hao Zhou+5 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 27被引用数 30

ひとこと要約

この論文では、生成品質を向上させるために、語の位置を潜在変数として明示的にモデル化する非自己回帰的Transformer、PNATを提案する。ヒューリスティックサーチとマックスサンプリングを用いて位置学習をガイドすることで、機械翻訳において最先端の結果を達成し、並列生成のパラフレーズ生成においても自己回帰的モデルを上回り、自己回帰的Transformerとの性能差を顕著に縮小した。

ABSTRACT

Non-autoregressive models are promising on various text generation tasks. Previous work hardly considers to explicitly model the positions of generated words. However, position modeling is an essential problem in non-autoregressive text generation. In this study, we propose PNAT, which incorporates positions as a latent variable into the text generative process. Experimental results show that PNAT achieves top results on machine translation and paraphrase generation tasks, outperforming several strong baselines.

研究の動機と目的

• 非自己回帰的（NAT）と自己回帰的（AT）Transformerの性能差を解消するために、生成プロセスにおいて語の位置を明示的にモデル化すること。
• 位置情報を潜在変数として組み込むことでNATの生成品質を向上させ、出力系列における再配置問題を低減すること。
• 位置潜在変数を操作することで制御可能な生成を可能とし、シーケンス制御の新たな可能性を開くこと。
• 位置予測の正確さが生成性能に直接相関することを示すことにより、今後のNAT改善の有望な方向性を示唆すること。

提案手法

• 非自己回帰的生成プロセスに語の位置を潜在変数として導入し、最適な出力順序を学習可能にする。
• 位置予測の訓練ターゲットを生成するためのヒューリスティックサーチプロセスを採用し、訓練中の指導を強化する。
• 推論時にマックスサンプリングを用いて、予測された位置とデコーダ出力に基づく最も確率の高いシーケンスをデコードする。
• 相対自己注意機構を活用することで、位置予測が不正確であってもモデルのロバスト性を維持する。
• モンテカルロ（MC）アルゴリズムを用いて、位置と生成トークンの同時尤度を最適化する。
• 各トークン予測を、エンコーダ出力と予測された位置に条件づけることで、標準的なNAT因子分解を変更する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的生成において語の位置を明示的にモデル化することで、シーケンス生成タスクの性能が向上するか？
• RQ2 NATモデルにおける位置予測の正確さは、生成シーケンスの品質にどのように影響するか？
• RQ3 位置モデル化により、特定の生成タスクにおいて自己回帰的モデルを上回る性能を達成できるか？
• RQ4 位置を潜在変数として組み込むことで、特定の語順を強制するような制御可能な生成が可能になるか？
• RQ5 BLEUスコアおよび推論速度の観点から、提案手法は強力なベースラインと比較してどう異なるか？

主な発見

• PNATはWMT14ドイツ語-英語機械翻訳タスクで最先端の性能を達成し、多数の強力な非自己回帰的および自己回帰的ベースラインを上回った。
• 並列生成タスクでは、自己回帰的Transformerモデルを上回った。これは、位置モデル化が自己回帰的制約を超える優れた生成を可能にする可能性を示している。
• 実験により、位置予測の正確さと生成品質の間に強い正の相関があることが示された。位置予測の正確さが高いほど、顕著に優れた結果が得られた。
• 事例研究では、ヒューリスティックサーチで得られた位置を用いた翻訳が、参照訳と非常に整合的であることが確認された。また、位置予測が不正確であっても、相対自己注意機構のおかげで妥当な出力を生成した。
• 非自己回帰的デコードのおかげで高い生成効率を維持しながら、競争的または優れた性能を達成した。
• 結果から、明示的な位置モデル化は、今後の非自己回帰的シーケンス生成における有望な方向性であることが示唆された。