[論文レビュー] Neural Machine Translation with External Phrase Memory

Yaohua Tang, Fandong Meng+3 more|arXiv (Cornell University)|Jun 6, 2016

Natural Language Processing Techniques参考文献 15被引用数 53

ひとこと要約

この論文は、翻訳品質を向上させるために、双方向語句ペアを格納する外部語句メモリを統合するニューラル機械翻訳モデル、phraseNetを提案する。語彙レベルと語句レベルの生成をゲーティング機構で統合することで、phraseNetは中国語から英語への翻訳において標準的なNMTより3.45 BLEUの向上を達成し、系列対系列モデルへのシンボリック知識の有効な統合を示している。

ABSTRACT

In this paper, we propose phraseNet, a neural machine translator with a phrase memory which stores phrase pairs in symbolic form, mined from corpus or specified by human experts. For any given source sentence, phraseNet scans the phrase memory to determine the candidate phrase pairs and integrates tagging information in the representation of source sentence accordingly. The decoder utilizes a mixture of word-generating component and phrase-generating component, with a specifically designed strategy to generate a sequence of multiple words all at once. The phraseNet not only approaches one step towards incorporating external knowledge into neural machine translation, but also makes an effort to extend the word-by-word generation mechanism of recurrent neural network. Our empirical study on Chinese-to-English translation shows that, with carefully-chosen phrase table in memory, phraseNet yields 3.45 BLEU improvement over the generic neural machine translator.

研究の動機と目的

• シンボリックな知識、すなわち人間が抽出したか、コーパスから抽出した語句ペアを、ニューラル機械翻訳に外部知識として統合すること。
• 標準的なRNNベースの系列対系列生成を、単語ごとのデコードを超えて、複数語の語句生成を可能にするように拡張すること。
• RNNの隠れ状態の一貫性を保ちながら、動的に語句の選択と生成が可能な微分可能でエンドツーエンドで学習可能なメカニズムを設計すること。
• 語句メモリの有効性が、翻訳のなめらかさと正確性、特にレア語やOOV語の処理においてどのように影響を与えるかを評価すること。
• 低リソース環境やOOV状況において、語彙拡張のみに比べて語句レベルの知識が優れているかどうかを検討すること。

提案手法

• モデルは、平行コーパスから抽出されたか、専門家が提供したシンボリック語句ペアを格納する語句メモリを使用する。
• エンコーダーは双方向RNNを用いて元文を処理し、語句メモリをスキャンして関連する語句候補で源表現をタグ付けする。
• デコーダーは2つのモード、語彙生成モードと語句生成モードの混合を採用し、各ステップで生成タイプを決定するためのゲーティング機構（phraseNetゲート）またはソフトマックス混合（phraseNetソフトマックス）を用いる。
• 複数語の語句を生成した後、デコーダーはRNNの隠れ状態の一貫性を保つために「アイドル走行」を実行する。
• アテンション機構は語句レベルの文脈を組み込むように変更され、デコーダーはエンコードされた源と語句メモリ上のアテンションから導かれるコンテキストベクトルを用いる。
• モデルは、ターゲット語彙と語句テーブルのクロスエントロピー損失関数を用いてバックプロパゲーションによりエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 外部のシンボリック語句知識は、標準的なNMTアーキテクチャを上回るニューラル機械翻訳性能を向上させることができるか？
• RQ2 ハイブリッド語彙-語句生成機構は、BLEUと自然さの観点から、純粋な単語ごとのデコードに比べて優れているか？
• RQ3 語句メモリの統合は、OOV（語彙外）語の処理にどのように影響を与えるか？
• RQ4 ゲーティングとソフトマックスの異なる混合モデリング戦略が、語句生成と全体の翻訳品質に与える影響は何か？
• RQ5 phraseNetは、n-gramの重なりを増やすだけではなく、出力系列の正しい位置に語句を生成できるか？

主な発見

• phraseNetゲートは中国語から英語への翻訳において、ベースラインのRNNsearchモデルよりも平均3.45 BLEUの向上を達成した。
• phraseNetソフトマックスは、同じベースラインに対して2.13 BLEUの向上を示し、ゲートバージョンに比べて一貫したがやや小さい向上を示した。
• 30K語彙のRNNsearch（phraseNetゲートから1.65 BLEU遅れ）よりも顕著に優れた性能を示しており、語句メモリが語彙拡張のみよりもより効果的な知識を提供していることが示された。
• 4-gram BLEU評価では、phraseNetゲートが平均16.47を達成したのに対し、RNNsearchは14.97であった。これは、語句が正しい位置に生成されており、単にn-gramの重なりを増やしているだけではないことを確認している。
• 事例研究では、phraseNetゲートが、源語がOOVであっても語句を正しく翻訳でき、語彙モードと語句モードの間でバランスの取れた柔軟な切り替えが可能であることが示された。
• モデルは一般的な語句の処理においても頑健であり、語句モードが選択されていなくても、しばしば正しく語句を生成することができ、語彙モードのフォールバックが効果的であることが示された。