[論文レビュー] Pseudolikelihood Reranking with Masked Language Models.

Julián Salazar, Davis Liang+2 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 13被引用数 7

ひとこと要約

この論文は、BERT や RoBERTa などの事前学習済みマスク言語モデルを用いて、自動音声認識（ASR）およびニューラル機械翻訳（NMT）の性能を向上させるために、ログ仮尤度（LPL）再順序付けを導入する。LPL スコアは GPT-2 などの自己回帰的モデルを上回り、LibriSpeech では WER を最大 30% 減少させ、低リソース NMT タスクでは BLEU を最大 1.7 上昇させる。ドメイン適応と単一の多言語 XLM を用いたことで、多言語再順序付けが可能になる。

ABSTRACT

We rerank with scores from pretrained masked language models like BERT to improve ASR and NMT performance. These log-pseudolikelihood scores (LPLs) can outperform large, autoregressive language models (GPT-2) in out-of-the-box scoring. RoBERTa reduces WER by up to 30% relative on an end-to-end LibriSpeech system and adds up to +1.7 BLEU on state-of-the-art baselines for TED Talks low-resource pairs, with further gains from domain adaptation. In the multilingual setting, a single XLM can be used to rerank translation outputs in multiple languages. The numerical and qualitative properties of LPL scores suggest that LPLs capture sentence fluency better than autoregressive scores. Finally, we finetune BERT to estimate sentence LPLs without masking, enabling scoring in a single, non-recurrent inference pass.

研究の動機と目的

• 再順序付けに事前学習済みマスク言語モデルを用いて、ASR および NMT の性能を向上させること。
• 自己回帰的言語モデルの文の流れらしさ評価における限界を克服し、非自己回帰的代替手法を導入すること。
• 微調整された BERT を用いて、非再帰的かつワンパス推論による文単位の流れらしさ評価を実現すること。
• 単一の XLM モデルが複数言語にわたる再順序付けに適用可能かどうかを検討すること。
• LPL スコアが自己回帰的スコアと比較して、文の流れらしさをよりよく捉えられるかどうかを調査すること。

提案手法

• トークンをマスクし、元のシーケンスの尤度を評価することで、マスク言語モデル（例：BERT、RoBERTa）を用いてログ仮尤度（LPL）スコアを計算する。
• 自己回帰的生成を伴わずに、ASR や NMT のデコーディングパイプラインにおける仮説の再順序付けに LPL スコアを用いる。
• 文単位の LPL 評価のため、BERT を微調整して非再帰的かつワンパス推論を可能にする。
• 低リソース NMT タスクにおける LPL の性能向上のため、ドメイン適応を適用する。
• 多言語 XLM を活用して、複数言語にわたる翻訳出力の再順序付けを単一モデルで行う。
• 文の流れらしさモデリングおよび性能の観点から、LPL スコアと自己回帰的ログ尤度スコアを比較する。

実験結果

リサーチクエスチョン

• RQ1 マスク言語モデルからの LPL スコアは、GPT-2 などの自己回帰的言語モデルを上回るのか？
• RQ2 LPL スコアは、エンドツーエンドの ASR における WER と低リソース NMT における BLEU をどの程度改善するのか？
• RQ3 ドメイン適応は、低リソース翻訳における LPL ベースの再順序付けの性能向上にどの程度効果的か？
• RQ4 単一の多言語 XLM モデルは、複数言語にわたる出力の再順序付けを効果的に行えるか？
• RQ5 LPL スコアは自己回帰的スコアと比較して、文の流れらしさをよりよく捉えられるか？

主な発見

• RoBERTa からの LPL スコアは、エンドツーエンドの LibriSpeech ASR システムで、語誤り率（WER）を最大 30% 相対的に低減する。
• LPL 再順序付けにより、低リソース TED Talks 翻訳ペアの最先端 NMT システムで BLEU スコアが最大 1.7 ポints 上昇する。
• ドメイン適応は、低リソース NMT タスクにおける LPL の性能向上に顕著な効果を示す。
• 単一の多言語 XLM モデルは、複数言語にわたる翻訳出力の再順序付けを効果的に実行できる。
• LPL スコアは、自己回帰的スコアと比較して、数値的および定性的な観点で文の流れらしさをより優れた性質で捉えている。
• 微調整された BERT を用いることで、LPL 評価のワンパスかつ非再帰的推論が可能となり、効率性が向上する。