[論文レビュー] Towards Bidirectional Hierarchical Representations for Attention-Based Neural Machine Translation

Baosong Yang, Derek F. Wong+3 more|arXiv (Cornell University)|Jul 17, 2017

Natural Language Processing Techniques参考文献 15被引用数 10

ひとこと要約

本稿では、木構造エンコーダーを用いて局所的およびグローバルな文法的文脈を統合することで、ソース側表現を向上させる、双方向階層的アテンションニューラル機械翻訳モデルを提案する。双方向RNNとトップダウンおよびボトムアップ符号化を組み合わせ、語と語句の寄与度をバランスさせる重み付きアテンション機構を用いることで、特に希少語や未知語に対する翻訳性能が顕著に向上する。

ABSTRACT

This paper proposes a hierarchical attentional neural translation model which focuses on enhancing source-side hierarchical representations by covering both local and global semantic information using a bidirectional tree-based encoder. To maximize the predictive likelihood of target words, a weighted variant of an attention mechanism is used to balance the attentive information between lexical and phrase vectors. Using a tree-based rare word encoding, the proposed model is extended to sub-word level to alleviate the out-of-vocabulary (OOV) problem. Empirical results reveal that the proposed model significantly outperforms sequence-to-sequence attention-based and tree-based neural translation models in English-Chinese translation tasks.

研究の動機と目的

• ニューラル機械翻訳における逐次モデルが文法的構造や長距離依存関係を捉える能力に限界を示す問題に対処する。
• 既存の木構造ベースエンコーダーがグローバルな文レベルの文脈を組み込まずに局所的文脈バイアスを生じる問題を克服する。
• BPEを用いてサブワードレベルに拡張することで、希少語および未知語（OOV）の翻訳品質を向上させる。
• 文脈に応じて語彙的および語句レベル表現の寄与度を動的に重み付けることで、アテンション機構を強化する。
• トップダウンおよびボトムアップの両方向からの双方向符号化を用いて、語と語句の意味を捉える階層的エンコーダーを構築する。

提案手法

• 前後の文脈を符号化する語レベルの双方向RNNを採用し、語表現を生成する。
• ボトムアップ（語句レベル）およびトップダウン（文レベル）の両方の符号化を実行する双方向木構造エンコーダーを設計し、階層的表現を豊かにする。
• 時間依存のゲーティングスカラーを導入した重み付き木構造アテンション機構を提案し、語ベクトルと語句ベクトル間の情報フローをバランスさせる。
• OOV問題を軽減するために、木構造モデルにバイトペア符号化（BPE）を統合し、サブワードユニットを生成する。
• 予測尤度を最大化するために、クロスエントロピー損失を用いたアテンションベースのエンコーダーデコーダー枠組みで、モデルをエンドツーエンドで学習する。
• 構文木を用いて符号化プロセスを構造化し、語と語句表現が階層的依存関係から構築されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 双方向階層的エンコーダーは、局所的語句レベルおよびグローバル文レベルの文脈を捉えることで、翻訳性能を向上させることができるか？
• RQ2 ボトムアップ符号化に加えてトップダウン符号化を組み込むことで、NMTにおける語および語句表現の質にどのような影響を与えるか？
• RQ3 重み付きアテンション機構は、語彙的および語句レベルの情報の動的バランスを取ることで、翻訳性能にどの程度向上効果をもたらすか？
• RQ4 BPEを用いて木構造モデルをサブワードレベルに拡張することで、未知語問題を軽減しつつ翻訳品質を劣化させないか？
• RQ5 標準的なシーケンスツーセクエンスモデルおよびヴァナラツリーNMTモデルと比較して、提案モデルはBLEUスコアおよび意味的正確性の観点でどの程度優れているか？

主な発見

• 提案モデルは、Eriguchiら（2016）のヴァナラツリーNMTモデルおよびBahdanauら（2015）のシーケンスツーセクエンスモデルに対して、NIST英中翻訳タスクで顕著な性能向上を達成した。
• 「areas outside」のような曖昧な語句を正しく「以外の地域」と翻訳する一方で、ベースラインのツリーNMTモデルは誤って「境外」と翻訳しており、より優れた文脈理解を示している。
• 「hi/k/ed」のようなサブワードユニットについて、階層的モデルは正しく「上昇」と翻訳するが、逐次モデルは「発生」と誤って翻訳しており、語句レベルでの意味的捉えの優位性が顕著である。
• BPEに基づくサブワード符号化により、希少語を効果的に処理し、低頻度または未学習形態に対しても高い翻訳正確性を維持している。
• 重み付きアテンション機構により、情報フローの動的制御が可能となり、アテンションアライメントと翻訳のなめらかさが向上した。
• 双方向階層的エンコーダーは、一方向モデルに比べて長距離および短距離依存関係をより効果的に捉えており、より正確で文脈に適した翻訳を実現している。