[論文レビュー] Document-Level Neural Machine Translation with Hierarchical Attention Networks

Lesly Miculicich, Dhananjay Ram+2 more|arXiv (Cornell University)|Sep 5, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、変換器ベースのNMTモデルに統合された階層的マルチヘッドアテンションネットワーク（HAN）を提案する。このモデルは、元文書と翻訳文の両側から文書レベルの文脈を捉える。動的に以前の翻訳における関連語や文に注目することで、翻訳品質が著しく向上し、BLEU、語彙的結束、一貫性の面で複数のベンチマークで最先端の結果を達成する。特に代名詞の曖昧さ解消と話法的一致性の面で顕著な向上を示す。

ABSTRACT

Neural Machine Translation (NMT) can be improved by including document-level contextual information. For this purpose, we propose a hierarchical attention model to capture the context in a structured and dynamic manner. The model is integrated in the original NMT architecture as another level of abstraction, conditioning on the NMT model's own previous hidden states. Experiments show that hierarchical attention significantly improves the BLEU score over a strong NMT baseline with the state-of-the-art in context-aware methods, and that both the encoder and decoder benefit from context in complementary ways.

研究の動機と目的

• 文書レベルの文脈を文単位の翻訳を超えて組み込むことでニューラル機械翻訳を改善すること。
• 追加のパラメータを追加するか、主なNMTアーキテクチャから分離する既存の文脈認識手法の限界を解消すること。
• 階層的アテンションを用いて、語レベルと文レベルの抽象化を捉える構造的かつ動的な方法で文間のつながりをモデル化すること。
• 以前の文の翻訳からの隠れ表現を再利用することで、エンコーダーとデコーダーの両方で文脈モデリングを統合的に最適化すること。
• ソース側とターゲット側の文脈が補完的であり、翻訳品質を共同で向上させることを実証すること。

提案手法

• 変換器ベースのNMTモデルに、エンコーダーとデコーダーの両方にHANモジュールを統合し、以前のソース文とターゲット文からの文脈をモデル化する。
• 現在のデコードステップに応じて、関連する語や文に動的に注目できる、語レベルと文レベルの両方におけるマルチヘッドアテンションを用いる。
• エンコーダーとデコーダーの両方で、以前の文の翻訳からの隠れ状態を再利用することで、複数文にわたるエンドツーエンド最適化を可能にする。
• NMTネットワークとHANモジュール間の情報フローを制御するためのコンテキストゲーティング機構を採用する。
• 各アテンション層の後に位置ごとのフィードフォワードネットワークとレイヤーナーマライゼーションを適用し、学習の安定化と表現学習の向上を図る。
• 元のHANを拡張し、マルチヘッドアテンションを用いてコアファレンスや語彙的結束といった多様な話法的現象を捉える。

実験結果

リサーチクエスチョン

• RQ1 外部エンコーダーやメモリモジュールを追加せずに、階層的アテンションネットワークがニューラル機械翻訳における文書レベルの文脈を効果的にモデル化できるか。
• RQ2 ソース側とターゲット側の文脈は翻訳品質にどのように寄与するか。また、それらは補完的か。
• RQ3 提案されたHANモデルは、BLEUなどの自動指標だけでなく、語彙的結束や一貫性といった定性的な話法的現象の向上も実現できるか。
• RQ4 モデルは文間の文脈を用いて代名詞をどの程度曖昧さを解消できるか。また、そのアテンション機構はどの程度解釈可能か。
• RQ5 HANを主なNMTアーキテクチャに統合することで、独立した文脈エンコーダーやキャッシュベースの手法よりも優れた性能が得られるか。

主な発見

• 提案されたHAN-NMTモデルは、IWSLT'17 En-DeテストセットでBLEUスコア55.40を達成し、強力なTransformerベースライン（54.26）を顕著に上回った。
• 語彙的結束は平均1.5%向上し、一貫性は0.013向上した。これは、文単位の結束性と語彙の繰り返しの質の向上を示している。
• IWSLT'17テストセットにおける代名詞の曖昧さ解消の正確性は30.58%に達し、ベースラインより0.52%向上した。定性的な分析では、正しいコアファレンス解決が確認された。
• アブレーションスタディの結果、ソース側とターゲット側の両方の文脈が補完的であることが確認された。HANエンコーダーとデコーダーの両方を用いることで、最も高い向上が得られた。
• 定性的な例では、HANが正しく先行語（例：'Nathaniel' が 'su' の指すもの）を特定し、関連する文脈を強調しており、解釈可能なアテンション機構を示している。