[論文レビュー] Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization

Jiacheng Zhang, Yang Liu+3 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 16被引用数 13

ひとこと要約

本稿では、翻訳用語辞書やフレーズ表などの複数の重複する任意の事前知識源を、微分可能な対数線形モデルを介してニューラル機械翻訳（NMT）に統合する事後正則化フレームワークを提案する。事前知識を実数値特徴としてモデル化し、KL発散度を最適化することで、標準NMTおよび従来の事後正則化手法を上回る翻訳品質の向上を達成した。中国語-英語翻訳ベンチマークにおいて顕著な改善が得られた。

ABSTRACT

Although neural machine translation has made significant progress recently, how to integrate multiple overlapping, arbitrary prior knowledge sources remains a challenge. In this work, we propose to use posterior regularization to provide a general framework for integrating prior knowledge into neural machine translation. We represent prior knowledge sources as features in a log-linear model, which guides the learning process of the neural translation model. Experiments on Chinese-English translation show that our approach leads to significant improvements.

研究の動機と目的

• エンドツーエンドのニューラル機械翻訳に、複数の重複する任意の事前知識源を統合する課題に対処すること。
• 従来の手法がモデルアーキテクチャを変更するか、単純な制約に限定された加法的損失項に依存するという限界を克服すること。
• 元のNMTアーキテクチャを維持しつつ、事前知識によって学習を誘導する一般化可能で柔軟かつ微分可能なフレームワークを提供すること。
• 翻訳用語辞書、フレーズ表、カバレッジ制約などの記号的知識を統合することで、翻訳品質を向上させること。

提案手法

• 事前知識源を、NMTモデルの事後分布を誘導する対数線形モデル内の実数値特徴として表現する。
• 制約付き事後分布集合の代わりに、微分可能で効率的な学習を可能にするために、対数線形モデルを用いた事後正則化を採用する。
• NMTモデルを、モデルの事後分布と対数線形モデルで定義された望ましい事後分布とのKL発散度を最小化することで最適化する。
• 翻訳用語辞書（BD）、フレーズ表（PT）、カバレッジペナルティ（CP）、長さ比（LR）などの特徴を、学習中にソフト制約として統合する。
• モデルの透明性を保ちつつ、微分可能な目的関数を用いてNMTモデルと対数線形事前モデルを同時に学習する。
• n-bestリストのデコード品質をさらに向上させるために、事前知識特徴を用いたリランクを適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、複数の重複する任意の事前知識源をエンドツーエンドNMTに効果的に統合できる一般化可能なフレームワークは存在するか？
• RQ2 制約付き事後分布集合と比較して、対数線形モデルを用いた事後正則化は、学習安定性および翻訳パフォーマンスにおいてどのように異なるか？
• RQ3 翻訳用語辞書、フレーズ表、カバレッジ制約といった、異なる種類の事前知識は、翻訳品質の向上にどの程度寄与するか？
• RQ4 学習中に事前知識を統合することは、デコード時でのみ適用するのと比較して、より良い結果をもたらすか？

主な発見

• 提案手法は、NIST中国語-英語テストセットでBLEUスコア30.76を達成し、RNNSearch（29.72）および制約付き事後分布を用いたPostRegを顕著に上回った。
• 翻訳用語辞書（BD）特徴が、性能向上に最も寄与しており、語彙レベルの事前知識の価値を示している。
• 複数の特徴を組み合わせても、BDとPTが単語単位のペアで重複するため、僅かな改善にとどまった。
• 事前知識特徴を用いたリランクにより翻訳品質が向上し、事後正則化による間接的監視の有効性が確認された。
• 事前学習済みのRNNSearchモデルから初期化した場合、約10万イテレーションで収束し、1つのGPU上で1イテレーションあたり1.5倍の推論速度ペナルティが発生した。
• 翻訳例では、BDおよびCP特徴が省略や未翻訳語の削減に寄与し、LRおよびPT特徴が長さ制御およびフレーズの整合性向上に寄与していることが示された。