[論文レビュー] Later-stage Minimum Bayes-Risk Decoding for Neural Machine Translation

Raphael Shu, Hideki Nakayama|arXiv (Cornell University)|Apr 11, 2017

Natural Language Processing Techniques参考文献 17被引用数 8

ひとこと要約

本稿では、神経機械翻訳（NMT）における後段階的最小ベイズリスク（MBR）デコードを提案する。MBR再ランク付けは、ビームサーチの後に適用され、最良の仮説を精錬する。この手法は、すべてのビームサイズで標準的なMBR再ランク付けを上回り、バッチ処理によるGPUベースの乖離行列計算によりベイズリスク計算を高速化し、品質を損なわずに高速な推論を実現する。

ABSTRACT

For extended periods of time, sequence generation models rely on beam search algorithm to generate output sequence. However, the correctness of beam search degrades when the a model is over-confident about a suboptimal prediction. In this paper, we propose to perform minimum Bayes-risk (MBR) decoding for some extra steps at a later stage. In order to speed up MBR decoding, we compute the Bayes risks on GPU in batch mode. In our experiments, we found that MBR reranking works with a large beam size. Later-stage MBR decoding is shown to outperform simple MBR reranking in machine translation tasks.

研究の動機と目的

• 標準的なMBR再ランク付けの制限に対処すること。これは、大きなビームサイズでのみ性能向上を示し、計算コストが高いためである。
• MBR再ランク付けが探索中にビームサーチを局所最適解の領域に閉じ込めてしまう問題を克服すること。
• バッチ処理によるGPU処理を用いて、MBRデコードのベイズリスク計算を高速化すること。
• ビームサーチの後にMBRデコードを適用する（後段階的）ことで、同時に実行するか、または初期段階で行うMBR再ランク付けよりも優れた結果が得られるかどうかを検討すること。
• さまざまなビームサイズおよび証拠空間サイズにおける後段階的MBRデコードの有効性を評価すること。

提案手法

• まずビームサーチを実行し、上位B個の完了した仮説とB個の破棄された仮説を収集して、証拠空間Eと候補リストHを構築する。
• ビームサーチ終了後、候補リストHから乖離（discrepancy）に基づいて計算されたベイズリスクが最小となる仮説を選択することでMBRデコードを実行する。
• 乖離は滑らか化されたBLEUを用いて測定され、ベイズリスクR(y)はE内に含まれるすべての候補に対する期待損失として計算される。
• 乖離行列は、GPU上でベクトル化された演算を用いてバッチ処理で計算され、CPUベースの実装と比較して著しく計算時間を短縮する。
• 探索の多様性を保ち、早期収束を防ぐために、ビームサーチ中にMBRを統合しない。
• 標準的なNMTモデルにビームサーチを適用し、その後に後処理としてMBRステップを追加し、精錬された候補プールから最小リスクの仮説を選択する。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチ後に適用されるMBR再ランク付け（後段階的MBR）は、ビームサーチ中に適用される標準的なMBR再ランク付けを上回るか？
• RQ2 後段階的MBRデコードの性能は、さまざまなビームサイズにどのように依存するか？
• RQ3 GPUベースのバッチ処理によるベイズリスク計算は、MBRデコードの時間コストを顕著に削減できるか？
• RQ4 なぜ標準的なMBR再ランク付けは、大きなビームサイズでのみ効果的に機能するのか？
• RQ5 証拠空間内の証拠候補の数は、MBR再ランク付けの有効性にどのように影響するか？

主な発見

• 後段階的MBRデコードは、すべてのビームサイズで標準的なMBR再ランク付けを上回り、B=100のときBLEUスコア35.87を達成した。これに対してMBR再ランク付けは35.70であった。
• 標準的なMBR再ランク付けは、大きなビームサイズ（例：B=100のときBLEU 35.65）でのみ性能向上を示すが、後段階的MBRデコードは小さなビームサイズ（例：B=5のときBLEU 34.96）でも一貫した向上を示す。
• GPUベースのベイズリスク計算により、1文あたりの再ランク付け時間はCPUの数分からミリ秒にまで短縮され、指数的増加ではなく線形スケーリングのパターンを示す。
• 近似された乖離値（滑らか化されたBLEU）を用いることで、正確な計算とほぼ同等の性能が得られ、品質を損なわず高速な推論が可能になる。
• 証拠空間内の証拠候補の数は慎重に選択される必要がある。ビームサイズを上回る数を用いると性能が低下する。
• この手法はビームサイズの選択に対して頑健であり、後段階的MBRデコードが局所最適解に陥ったビームサーチの結果を効果的に補正できることを示している。