[論文レビュー] Context Gates for Neural Machine Translation

Zhaopeng Tu, Yang Liu+3 more|arXiv (Cornell University)|Aug 22, 2016

Natural Language Processing Techniques参考文献 19被引用数 15

ひとこと要約

この論文では、ニューラル機械翻訳（NMT）における文脈ゲートを提案し、デコード中にソース文脈とターゲット文脈の影響を動的にバランスさせる。これにより、スムーズさを損なわずに翻訳の的確性が向上する。各デコードステップで、ソースとターゲット文脈の寄与度を学習して重みづけすることで、標準的なアテンションベースのNMTに比べて+2.3 BLEUポイントの向上を達成。特に長文ではより顕著な向上が見られ、コンテンツ語と機能語の処理においても耐性が向上する。

ABSTRACT

In neural machine translation (NMT), generation of a target word depends on both source and target contexts. We find that source contexts have a direct impact on the adequacy of a translation while target contexts affect the fluency. Intuitively, generation of a content word should rely more on the source context and generation of a functional word should rely more on the target context. Due to the lack of effective control over the influence from source and target contexts, conventional NMT tends to yield fluent but inadequate translations. To address this problem, we propose context gates which dynamically control the ratios at which source and target contexts contribute to the generation of target words. In this way, we can enhance both the adequacy and fluency of NMT with more careful control of the information flow from contexts. Experiments show that our approach significantly improves upon a standard attention-based NMT system by +2.3 BLEU points.

研究の動機と目的

• NMTがターゲット文脈に過剰に依存することで、スムーズではあるが的確でない翻訳を生成する問題に対処すること。
• ソース文脈とターゲット文脈が、翻訳の的確性とスムーズさにおいて果たす役割が異なるかどうかを調査すること。
• 語の種別（コンテンツ語 vs 機能語）に応じて、文脈の寄与度を動的に制御するメカニズムを設計すること。
• 学習可能な文脈ゲーティングにより、的確性とスムーズさのバランスを高めることで翻訳品質を向上させること。
• 文脈ゲートがGRUを単純なRNNに置き換えられることを示し、パフォーマンスを維持しながら推論速度を向上させること。

提案手法

• 各デコードステップで、0から1の間の比を出力する微分可能で非線形なゲーティングユニットとしての文脈ゲートを導入し、ソースとターゲット文脈の寄与度を制御する。
• ソース文脈 $ \boldsymbol{h}_s $ とターゲット文脈 $ \boldsymbol{h}_t $ を入力として受け取るゲートメカニズムを用いて、文脈ゲート出力 $ z_t $ を計算する。
• ゲート出力 $ z_t $ を用いて、ソースとターゲット文脈表現の補間を行う：$ \boldsymbol{h}_t^{\text{gate}} = z_t \boldsymbol{h}_s + (1 - z_t) \boldsymbol{h}_t $。
• ゲーティッド文脈表現をデコーダRNN（GRUまたはRNN）に統合し、次のターゲット語を生成する。
• ゲートパラメータをデータから学習するため、標準的なNMTの目的関数に従ってエンドツーエンドでモデルを訓練する。
• デコーダでGRUユニットを標準的なRNNに置き換えながら文脈ゲートを適用することで、パラメータを半分に削減し、デコード時の行列計算コストを50%削減する。

実験結果

リサーチクエスチョン

• RQ1 ソース文脈とターゲット文脈の相対的影響が、それぞれ的確性とスムーズさに関連しているか？
• RQ2 ソースとターゲット文脈のバランスを動的に制御することで、NMTにおける翻訳品質が向上するか？
• RQ3 長文や複雑な文において、ソース文脈の影響を高めることでモデルの性能がより向上するか？
• RQ4 性能を維持しながら、文脈ゲートを用いてGRUを単純なRNNに置き換えられるか？また、推論速度が向上するか？
• RQ5 文脈ゲートの出力は、特に的確性とスムーズさに関して翻訳品質と相関しているか？

主な発見

• 文脈ゲートにより、標準的なアテンションベースのNMTシステムに比べて+2.3 BLEUポイントの翻訳パフォーマンス向上が達成された。
• 特に長文（≥30トークン）において、的確性が顕著に向上し、ベースラインモデルの性能低下が緩和された。
• 文脈ゲートの重み $ z_t $ は翻訳の改善と正の相関を示し、長さが≥30の文では相関係数が0.076に達した。
• 文脈ゲートにより、GRUユニットを単純なRNNに置き換えられ、モデルのパラメータを半分に削減し、デコード時の行列計算コストも50%削減された。
• 的確性の向上を維持しながらスムーズさを保った。定性的な例では、過剰翻訳と不足翻訳のエラーが減少した。
• 長文において、ゲート重みと翻訳品質の相関がより高かったことから、複雑または長いソース入力ではソース文脈がより重要であることが示された。