[論文レビュー] Trainable Greedy Decoding for Neural Machine Translation

Jiatao Gu, Kyunghyun Cho+1 more|arXiv (Cornell University)|Feb 8, 2017

Natural Language Processing Techniques参考文献 33被引用数 14

ひとこと要約

この論文では、翻訳品質を向上させるためにデコーダーの隠れ状態を観測・変更する小さなニューラルネットワークのエージェントが学習可能であるような、トレーナブルなグリーディデコードを提案する。評価関数に依存した決定的方策勾配を用いて訓練され、BLEU やパープレキシティなどのターゲットデコード目的を最小限の計算コストで向上させ、2つの目的において4つの言語対で標準的なグリーディおよびビームサーチを上回る性能を発揮する。

ABSTRACT

Recent research in neural machine translation has largely focused on two aspects; neural network architectures and end-to-end learning algorithms. The problem of decoding, however, has received relatively little attention from the research community. In this paper, we solely focus on the problem of decoding given a trained neural machine translation model. Instead of trying to build a new decoding algorithm for any specific decoding objective, we propose the idea of trainable decoding algorithm in which we train a decoding algorithm to find a translation that maximizes an arbitrary decoding objective. More specifically, we design an actor that observes and manipulates the hidden state of the neural machine translation decoder and propose to train it using a variant of deterministic policy gradient. We extensively evaluate the proposed algorithm using four language pairs and two decoding objectives and show that we can indeed train a trainable greedy decoder that generates a better translation (in terms of a target decoding objective) with minimal computational overhead.

研究の動機と目的

• モデルアーキテクチャーやトレーニングにおける顕著な進展にもかかわらず、ニューラル機械翻訳におけるデコード処理の未解決問題に取り組むこと。
• 主モデルの再トレーニングを必要とせず、任意のデコード目的を最適化できる汎用的でトレーナブルなデコードアルゴリズムを開発すること。
• 動的デコード戦略を学習することで、標準的なグリーディまたはビームサーチを凌駕する翻訳品質の向上を図ること。
• 軽量なエージェントを訓練することで、再トレーニングなしに効率的な推論を可能にすること。

提案手法

• トレーニング済みのニューラル機械翻訳デコーダーの隠れ状態を観測・操作するトレーナブルなエージェントネットワークを導入する。
• 目的のデコード目的を最大化するように、特に評価関数に依存した決定的方策勾配の変種である、評価関数に依存したエージェント学習を用いてエージェントを訓練する。
• 評価関数はエージェントが取った行動の期待リターンを推定し、安定した方策最適化を可能にする。
• 本手法はトレーニング後適用され、主翻訳モデルの再トレーニングを必要としない。
• エージェントは小さく浅い構造であり、推論時の計算コストを最小限に抑える。
• 本手法は再帰的デコーダーを備えた任意の系列モデリングタスクに汎用的に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的なグリーディまたはビームサーチを超えて翻訳品質を向上させるトレーナブルなデコードアルゴリズムを学習可能か？
• RQ2 特定の目的（例：BLEU やパープレキシティ）を最適化するようにデコーダーを学習させることで、翻訳出力に測定可能な改善が得られるか？
• RQ3 軽量なエージェントネットワークが、トレーニング済みモデルの隠れ状態を効果的に操作してデコードを改善できるか？
• RQ4 評価関数に依存したエージェント学習法は、複数の言語対で16の異なるエージェントを安定的かつ効果的に訓練できるほど安定的で効果的か？
• RQ5 訓練済みエージェントはグリーディデコードにとどまらず、ビームサーチの性能向上も図れるか？

主な発見

• BLEU や負のパープレキシティを最適化するように訓練したトレーナブルなグリーディデコーダーは、両方の指標で顕著な向上を達成し、本手法の有効性を確認した。
• 文単位の BLEU を最適化するように訓練した場合、BLEU スコアは向上したがパープレキシティはしばしば低下し、逆にパープレキシティを最適化するように訓練した場合は逆の傾向を示した。これは目的に特化した最適化が有効であることを裏付けた。
• ビームサーチと組み合わせて使用しても、訓練済みエージェントは統計的に有意な BLEU の向上をもたらした。結果図では赤いアスタリスクで示されている。
• エージェントネットワークが非常に小さく、トレーニング後には評価関数を削除したため、計算コストの増加はほとんどなかった。
• 評価関数に依存したエージェント学習により訓練が安定化し、8つの言語対方向で16のエージェントの成功的訓練が可能になった。
• 手動での分析から、エージェントは前置詞の修正や不要なトークンの生成の削除に注力しており、デコードプロセスにおける意味のある干渉がなされていることが示された。