[論文レビュー] Bayesian Optimisation for Machine Translation

Yishu Miao, Ziyu Wang+1 more|arXiv (Cornell University)|Dec 22, 2014

Natural Language Processing Techniques参考文献 13被引用数 3

ひとこと要約

本稿では、統計的機械翻訳における最小誤差率学習のためのベイズ最適化（BO）アルゴリズムを紹介する。N-bestリストとハイパーグラフ表現を用いて翻訳空間を効率的に探索する。提案手法であるHG-BOおよびCHG-BOは、MERTおよびMIRAよりも収束が速く、BLEUスコアも高い。REMBOを用いることで、高次元スパース特徴量のスケーラブルなチューニングが可能となる。

ABSTRACT

This paper presents novel Bayesian optimisation algorithms for minimum error rate training of statistical machine translation systems. We explore two classes of algorithms for efficiently exploring the translation space, with the first based on N-best lists and the second based on a hypergraph representation that compactly represents an exponential number of translation options. Our algorithms exhibit faster convergence and are capable of obtaining lower error rates than the existing translation model specific approaches, all within a generic Bayesian optimisation framework. Further more, we also introduce a random embedding algorithm to scale our approach to sparse high dimensional feature sets.

研究の動機と目的

• 統計的機械翻訳システムにおける線形モデル重みのチューニングのための汎用的で効率的なベイズ最適化アルゴリズムの開発。
• MERTおよびMIRAの限界を克服するため、損失関数をブラックボックスとして扱い、高価な誤差表面の構築を回避する。
• ランダム埋め込みを用いて、SMTにおける高次元スパース特徴集合のスケーラブルなハイパーパramータチューニングを可能にする。
• 固定されたN-bestリストまたはハイパーグラフ上でガウス過程を活用することで、トレーニングの効率性と翻訳品質を向上させる。
• ベイズ最適化の汎用的潜在的可能性を、翻訳モデルを超える自然言語処理タスクへと広げる。

提案手法

• 固定されたN-bestリストまたはハイパーグラフ上で評価されるブラックボックス損失関数（例：BLEU）を用いて、SMTシステムにおける線形結合重みのチューニングにベイズ最適化を適用する。
• 重み空間における目的関数をガウス過程でモデル化し、次回の評価点を選択するための獲得関数として期待改善（EI）を用いる。
• サンプルされたパラメータを用いてハイパーグラフを繰り返し再重み付けし、ビタビアルゴリズムで新たな翻訳をデコードし、観測されたBLEUスコアでガウス過程を更新する。
• 最適化中の安定性を向上させるために、現在の重みの周囲に有界な探索領域を導入する。
• 高次元スパース特徴空間を低次元空間に射影するため、ランダム埋め込みを用いたREMBOアルゴリズムを採用してスケーラブルなBOを実現する。
• HG-REMBOでは2段階の座標上昇プロセスを採用：まずデフォルト特徴量を最適化し、次に正則化されたランダム射影行列を用いてスパース特徴量を更新する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化は、SMTシステムにおける収束速度と翻訳品質の面で、MERTおよびMIRAを上回ることができるか？
• RQ2 N-bestリストではなくハイパーグラフを用いることで、BOベースのチューニングの安定性と性能にどのような影響を与えるか？
• RQ3 ランダム埋め込みを用いることで、機械翻訳における高次元スパース特徴空間へのベイズ最適化のスケーラビリティを効果的に実現できるか？
• RQ4 有界探索領域のサイズが最適化性能および最終モデルの一般化能力に与える影響は何か？
• RQ5 提案されたBOフレームワークは、統計的機械翻訳を超える他の自然言語処理タスクへ一般化可能か？

主な発見

• HG-BOはfr-enデータセットでテストBLEUスコア29.9を達成し、MERT（26.8）およびMIRA（26.8）を上回った。収束はMERTの4時間に対して1.5時間で達成された。
• CHG-BOは優れた安定性を示し、5イテレーション目でプラトーに達したが、NBL-BOおよびHG-BOと異なり、初期重みが悪い状況でも揺らぎを示さなかった。
• 探索領域のサイズb=0.1はb=0.01と同等の性能を示したが、b=0.5では探索空間内のノイズが多すぎてテスト性能が劣化した。
• HG-REMBOはes-enで30.6、fr-enで28.0のテストBLEUスコアを達成し、それぞれMIRAの30.6および28.3にほぼ同等だった。複数回の実行を要するが、安定した変換行列の生成が可能だった。
• BOアルゴリズムは最適性能に達するまでに5イテレーションで十分であり、最大で7イテレーションで収束することが一般的だった。したがって、10イテレーションが安全な上限とされる。
• ランダム埋め込みの使用により、fr-enの207,952個のスパース特徴量を対象とした有効なチューニングが可能となり、従来のBOでは取り扱えなかった高次元特徴空間へのスケーラビリティが実証された。