[論文レビュー] Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search

Chris Hokamp, Qun Liu|arXiv (Cornell University)|Apr 24, 2017

Natural Language Processing Techniques被引用数 35

ひとこと要約

この論文では、再訓練を必要とせずに語彙的制約（例：必須の語やフレーズ）を順序生成に組み込むために、ビームサーチを拡張した新しいデコードアルゴリズムであるグリッドビームサーチ（GBS）を紹介する。GBSはビームサーチのグリッドに制約を統合することで、特にインタラクティブおよびドメイン適応の場面において神経機械翻訳の品質を顕著に向上させる。また、用語から自動的に抽出された制約に対しても、その効果が得られる。

ABSTRACT

We present Grid Beam Search (GBS), an algorithm which extends beam search to allow the inclusion of pre-specified lexical constraints. The algorithm can be used with any model that generates a sequence $ \mathbf{\hat{y}} = \{y_{0}\ldots y_{T}\} $, by maximizing $ p(\mathbf{y} | \mathbf{x}) = \prod\limits_{t}p(y_{t} | \mathbf{x}; \{y_{0} \ldots y_{t-1}\}) $. Lexical constraints take the form of phrases or words that must be present in the output sequence. This is a very general way to incorporate additional knowledge into a model's output without requiring any modification of the model parameters or training data. We demonstrate the feasibility and flexibility of Lexically Constrained Decoding by conducting experiments on Neural Interactive-Predictive Translation, as well as Domain Adaptation for Neural Machine Translation. Experiments show that GBS can provide large improvements in translation quality in interactive scenarios, and that, even without any user input, GBS can be used to achieve significant gains in performance in domain adaptation scenarios.

研究の動機と目的

• モデルパラメータの変更や再訓練なしに、ユーザー指定またはドメイン固有の語彙的制約（例：フレーズや語）を順序生成出力に組み込むこと。
• 効率的でスケーラブルなビームサーチの特性を保ちながら、出力に必要な部分列が確実に出現するデコードアルゴリズムの開発。
• 神経機械翻訳におけるインタラクティブ機械翻訳およびドメイン適応における語彙的制約付きデコードの有効性の評価。
• GBSが、ドメイン用語から自動抽出された制約に対しても顕著な性能向上を達成できることの実証。

提案手法

• GBSは、標準のビームサーチを拡張し、仮説を2次元グリッドに配置する。1つの軸は時間的生成進行を、もう1つの軸は各語彙的制約の進行状態を表す。
• グリッドの各セルには、k番目に良い仮説のビームが格納され、各仮説は出力系列内の位置と、各制約の状態（未開始、進行中、完了）を追跡する。
• 各デコードステップで、既存の仮説を延長して新しい仮説を生成するが、制約が過剰に破棄されたり違反されたりしないよう特別な処理を行う。
• 動的計画法を用いて制約を探索空間全体に伝搬させ、最終出力内のすべての仮説が指定されたすべての語彙的制約を含むことを保証する。
• 制約は、出力内にどこにでも出現する部分列として符号化され、長さの異なる複数の制約を同時にサポートする。
• デコードプロセスはモデルに依存せず、自己回帰的確率推定に基づいてトークン単位で出力を生成するあらゆる順序モデルに適用可能。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、任意の語彙的制約を順序生成に強制できるビームサーチの変種を設計できるか？
• RQ2 語彙的制約付きデコードは、インタラクティブ機械翻訳場面における翻訳品質の向上にどの程度有効か？
• RQ3 ドメイン用語に基づく制約のみを用いて、GBSがニューラル機械翻訳におけるドメイン適応で有意な性能向上を達成できるか？
• RQ4 入力-出力アライメントに依存しないモデルに対しても、この手法は効率的かつスケーラブルに保たれるか？

主な発見

• GBSは、ユーザーの修正を語彙的制約として扱い、再生成を誘導するインタラクティブ機械翻訳設定において、翻訳品質を顕著に向上させる。
• ユーザー入力がなくても、ドメイン固有の用語を制約として組み込むことで、GBSはドメイン適応において顕著な性能向上を達成する。
• 特に正確な語彙的制御が求められる状況において、標準のビームサーチやベースラインの制約付きデコード手法を上回る性能を発揮する。
• 制約がドメイン用語から自動抽出されても、本手法は有効であり、頑健性と実用的価値を示している。
• GBSは標準のビームサーチと同等の計算効率を維持しており、リアルタイム応用に適している。