[論文レビュー] Improving Neural Machine Translation through Phrase-based Forced Decoding

Jingyi Zhang, Masao Utiyama+3 more|arXiv (Cornell University)|Nov 1, 2017

Natural Language Processing Techniques参考文献 26被引用数 9

ひとこと要約

本稿では、既存のフレーズベースのSMTモデルを活用してNMT出力のデコードコストを計算し、n-best NMT仮説の再順序付けを可能にするフレーズベースの強制デコード手法を提案する。この手法は、語彙外のNMT出力を処理するためのソフトな強制デコードアルゴリズムを用い、ソース語の削除とターゲット語の挿入を許容することで、4つの言語対で翻訳の的確性が著しく向上するが、滑らかさには影響を与えない。

ABSTRACT

Compared to traditional statistical machine translation (SMT), neural machine translation (NMT) often sacrifices adequacy for the sake of fluency. We propose a method to combine the advantages of traditional SMT and NMT by exploiting an existing phrase-based SMT model to compute the phrase-based decoding cost for an NMT output and then using this cost to rerank the n-best NMT outputs. The main challenge in implementing this approach is that NMT outputs may not be in the search space of the standard phrase-based decoding algorithm, because the search space of phrase-based SMT is limited by the phrase-based translation rule table. We propose a soft forced decoding algorithm, which can always successfully find a decoding path for any NMT output. We show that using the forced decoding cost to rerank the NMT outputs can successfully improve translation quality on four different language pairs.

研究の動機と目的

• NMTモデルの的確性不足、すなわち高 fluency にもかかわらず過剰翻訳、不十分翻訳、関連のない翻訳を生じがちな問題に対処する。
• NMTの滑らかさとフレーズベースSMTの構造的制約を組み合わせ、翻訳の的確性を向上させる。
• 標準のフレーズベースSMT探索空間に含まれないNMT出力に対しても処理可能なデコード手法を開発する。
• ランダムサンプリングを用いることで、ビームサーチに見られる冗長性を避けることにより、NMTの再順序付けにおける多様性を向上させる。
• フレーズベースデコードコストが、関連のない翻訳や誤ったフレーズの一致を効果的に特定・ペナルティ化できることを示す。

提案手法

• 本手法は、既存のフレーズベースSMTモデルを用いて、各NMT出力のフレーズベースデコードコストを計算し、そのコストを用いてn-best NMT出力を再順序付けする。
• 標準のフレーズベース探索空間にないNMT出力を処理するため、文脈に応じたペナルティを伴うソース語の削除とターゲット語の挿入を許容するソフトな強制デコードアルゴリズムを提案する。
• 内容語の誤って省かれる可能性や挿入される可能性を反映させるため、内容語に対してはペナルティを高く、機能語に対しては低く設定する。
• 再順序付け用のn-bestリストは、NMTモデルからのランダムサンプリングにより生成され、標準のビームサーチに見られる冗長性を回避する。
• デコードコストは標準のフレーズベース翻訳ルールを用いて計算され、語彙対応済みの学習データから抽出されたフレーズテーブルからのスコアが用いられる。
• 最終的な翻訳は、最も低いフレーズベースデコードコストに基づいて選択され、誤った翻訳や欠落した翻訳に対して強くペナルティが課される。

実験結果

リサーチクエスチョン

• RQ1 フレーズベースSMTデコードコストは、過剰翻訳、不十分翻訳、関連のないフレーズといった不適切なNMT翻訳を効果的に特定・ペナルティ化できるか？
• RQ2 標準のフレーズベース探索空間に表現できない任意のNMT出力に対応できるように、フレーズベースデコードアルゴリズムをどのように拡張できるか？
• RQ3 内容語・機能語に配慮したペナルティを備えたソフトな強制デコード手法を用いることで、滑らかさを損なわずに翻訳の的確性が向上するか？
• RQ4 フレーズベースデコードコストを用いたNMT出力の再順序付けは、多様な言語対で一貫した改善をもたらすか？
• RQ5 提案手法は、任意のテスト例において翻訳品質を悪化させないという意味で、頑健性を有しているか？

主な発見

• 提案手法は、英語→中国語、英語→日本語、英語→ドイツ語、英語→フランス語の4つの言語対で翻訳品質の大幅な向上を達成した。
• 人的評価では、100件のテスト文のうち26件で関連のない翻訳、過剰翻訳、不十分翻訳が著しく減少し、残り73件では品質に劣化が認められず、頑健性が裏付けられた。
• ベースラインNMTシステムにすでに離散的語彙特徴が組み込まれていた場合でも、本手法は強力な補完的利得を示した。
• NMTスコアでPBMT出力を再順序付けしても、NMTがすでにPBMTよりも著しく優れている場合には、ベースラインNMTシステムを上回ることはできず、本手法のNMT再順序付けの優位性が示された。
• ソフトな強制デコードアルゴリズムは、フレーズベースルールテーブルに直接表現できないNMT出力に対しても、文脈に応じたペナルティを伴う削除・挿入を許容することで、すべてのNMT出力に対してデコードパスを正常に計算できた。
• ランダムサンプリングによるn-bestリスト生成により、ビームサーチに比べて多様性が向上し、効果的な再順序付けに不可欠であることが示された。