[論文レビュー] Breaking the Beam Search Curse: A Study of (Re-)Scoring Methods and Stopping Criteria for Neural Machine Translation

Yilin Yang, Liang Huang+1 more|arXiv (Cornell University)|Aug 28, 2018

Natural Language Processing Techniques参考文献 18被引用数 14

ひとこと要約

この論文は、ニューラル機械翻訳におけるビームサーチの Curse の根本的原因を特定する—ビームサイズの増加は長さ比の歪みにより翻訳が短くなる—そして、ハイパーパramータを必要としない再スコアリング手法、特に BP-Norm と予測された長さに基づく長さ制限付き単語報酬を提案し、長さ正規化より BLEU を +2.0 向上させる。また、最適な停止基準を導入し、+0.9 BLEU の向上を達成し、中国語-英語翻訳において最先端の結果を実現する。

ABSTRACT

Beam search is widely used in neural machine translation, and usually improves translation quality compared to greedy search. It has been widely observed that, however, beam sizes larger than 5 hurt translation quality. We explain why this happens, and propose several methods to address this problem. Furthermore, we discuss the optimal stopping criteria for these methods. Results show that our hyperparameter-free methods outperform the widely-used hyperparameter-free heuristic of length normalization by +2.0 BLEU, and achieve the best results among all methods on Chinese-to-English translation.

研究の動機と目的

• ビームサイズを増加させても探索能力が向上するにもかかわらず翻訳品質が低下するビームサーチの Curse の背後にある根本的要因を説明すること。
• 大きなビームサイズで生成される短い翻訳の問題に対処し、既存の再スコアリング手法を形式化して改善すること。
• 開発セットでのチューニングを必要とせず、長さ正規化を上回る性能を発揮するハイパーパramータフリーの再スコアリング技術を開発すること。
• 生成長を動的に制御することでビームサーチの性能を向上させる最適な停止基準を調査すること。
• 特に中国語-英語翻訳において、低リソース・長文シーケンス翻訳タスクにおいて提案手法の有効性を示すこと。

提案手法

• ビームサイズに依存しない、生成長さと参照長さの比から導出される短縮ペナルティを用いてモデルスコアを正規化する BP-Norm という再スコアリング手法を提案。ハイパーパramータを必要としない。
• 各生成語に固定報酬を与える再スコアリング機構であるバウンデッドワードリワードを導入。報酬の上限は予測されたシーケンス長に基づいて設定され、過剰生成を回避する。
• 推論中にターゲットシーケンス長を予測するモデルを用い、ビームサーチの上限とバウンデッドワードリワード機構の制御に活用する。
• 予測された長さに達した段階でビームサーチを動的に停止させる最適な停止基準を導入。これにより長さ比の制御と翻訳品質が向上する。
• 長さ予測と再スコアリングをハイブリッド的に組み合わせ、さまざまなビームサイズでも高い BLEU スコアを維持する。
• 標準的な NMT のトレーニングおよび推論パイプラインを用いて、再スコアリングと停止ルールを統合したビームサーチの評価を実施。

実験結果

リサーチクエスチョン

• RQ1 なぜビームサイズを 5 を超えて増加させると、探索能力が向上するにもかかわらずニューラル機械翻訳における翻訳品質が低下するのか？
• RQ2 ハイパーパramータを必要とせず、長さ正規化を上回る BLEU スコアを達成できる再スコアリング手法はどのように設計できるか？
• RQ3 最適な停止基準はビームサーチの性能にどのような影響を及ぼすか、特に翻訳長の制御と BLEU スコアの向上に寄与するか？
• RQ4 予測されたシーケンス長は、さまざまな入力長にわたるビームサーチのロバスト性と品質を向上させることができるか？
• RQ5 さまざまな再スコアリング戦略は、BLEU スコア、長さ比、および長文・短文シーケンスにおける一般化性能の観点からどのように比較できるか？

主な発見

• ビームサーチの Curse は、主にビームサイズの増加に伴う長さ比の歪みによる短い翻訳生成に起因する。データの不確実性やコピーの問題によるものではない。
• 提案されたハイパーパラメータフリーの手法 BP-Norm は、中国語-英語翻訳において、広く使われる長さ正規化ベースラインを +2.0 BLEU で上回る。
• 最適な停止基準単体でも、長さ正規化の性能を +0.9 BLEU 向上させ、その大きな影響を示している。
• 最適な停止基準と長さ予測を組み合わせたバウンデッドワードリワード手法は、大きなビームサイズ（b=39–41）でもテストセットで最高の BLEU スコア 40.14 を達成した。
• BP-Norm 手法は、r=1.4 のバウンデッドワードリワードやバウンデッドアダプティブリワードといったより複雑な手法と同等の性能を発揮するが、ハイパーパラメータチューニングを必要としない。
• 提案されたすべての手法は、特に NMT システムが困難とされる長文シーケンスにおいても、長さ比を 1.0 に近づける。