[論文レビュー] Modeling Latent Sentence Structure in Neural Machine Translation

Jasmijn Bastings, Wilker Aziz+2 more|arXiv (Cornell University)|Jan 18, 2019

Natural Language Processing Techniques参考文献 22被引用数 8

ひとこと要約

本稿では、源文の表現から確率的サンプリングにより重み付きで密接接続されたグラフを生成することで、潜在的な文法構造と翻訳を同時に学習するニューラル機械翻訳モデルを提案する。微分可能なグラフサンプリングのためのConcreteリラクゼーションを用いることで、CNNおよび単語埋め込みエンコーダーが誘導されたグラフを効果的に活用し、長距離依存関係を捉えることが示された。一方、RNNエンコーダーはその内在的な表現能力のため、これらの依存関係をほとんど無視する。

ABSTRACT

Recently it was shown that linguistic structure predicted by a supervised parser can be beneficial for neural machine translation (NMT). In this work we investigate a more challenging setup: we incorporate sentence structure as a latent variable in a standard NMT encoder-decoder and induce it in such a way as to benefit the translation task. We consider German-English and Japanese-English translation benchmarks and observe that when using RNN encoders the model makes no or very limited use of the structure induction apparatus. In contrast, CNN and word-embedding-based encoders rely on latent graphs and force them to encode useful, potentially long-distance, dependencies.

研究の動機と目的

• 教師付きパーサーに依存せずに、潜在的な文法構造がニューラル機械翻訳を改善できるかどうかを調査すること。
• 異なるエンコーダー構造（RNN、CNN、単語埋め込み）が誘導された潜在的グラフとどのように相互作用し、それをどう活用するかを研究すること。
• 近似的に離散的で意味のある依存関係を促進する、微分可能で確率的なグラフ誘導メカニズムを設計すること。
• 誘導されたグラフがエンコーダーの受容場の範囲を越えて有用な長距離依存関係を捉えているかどうかを評価すること。
• エンドツーエンドNMTにおけるグラフ誘導部と翻訳部の役割を分離・解明すること。

提案手法

• グラフサンプラーとグラフ情報に基づく翻訳デコーダーを備えた確率的エンコーダ-デコーダーモデル。
• グラフ部では、源文の隠れ状態から隣接行列を確率的サンプリングするため、Concrete分布を用いる。これにより、離散的であるかのような構造が促進される。
• ヘッドポテンシャルは、双方向LSTMの隠れ状態から得られるクエリとキー表現間のスケーリングドット積分注意力によって計算される。
• 翻訳部では、誘導されたグラフ上で情報伝搬を行うためのグラフ畳み込みネットワークを用い、デコードの前に源表現を強化する。
• モデルは、ターゲット系列の交差エントロピー損失を用いてエンドツーエンドで学習され、グラフ温度は時間経過とともに冷却される。
• 誘導された依存関係の質と構造を評価するため、グラフのスパarsityとヘッド距離を分析する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、微分可能かつエンドツーエンドのNMTモデルにおいて、潜在的な文法構造を効果的に誘導できるか？
• RQ2 エンコーダー構造の選択（RNN、CNN、単語埋め込み）が、誘導された潜在的グラフの有用性にどのように影響するか？
• RQ3 誘導されたグラフがエンコーダーの局所的受容場を越えて長距離依存関係を捉えているか？
• RQ4 誘導されたグラフは解釈可能で意味的に意味のあるものか、それとも自明な構造に退化するか？
• RQ5 エンコーダーがすでに非常に表現力が強い（例：BiLSTMの場合）場合、グラフ誘導はモデルの性能向上に寄与するか？

主な発見

• CNNおよび単語埋め込みエンコーダーは、潜在的グラフ誘導を組み合わせることでBLEUスコアが顕著に向上し、グラフが有用な非局所的依存関係を捉えていることが示された。
• RNNエンコーダーは、その潜在的グラフがほとんど自明であり、長距離構造を捉えられていないため、グラフ誘導による改善は顕著に認められなかった。
• 英語→日本語翻訳において、平均ヘッド距離は、埋め込み（emb）の4.0およびRNNの4.3から、CNNの6.1に上昇しており、CNNがグラフを長距離依存関係に活用していることが示された。
• グラフエントロピーは均一分布（28.7）よりも顕著に低く、誘導されたグラフがスパースで焦点が当たっており、ランダムではないことを確認した。
• モデルのグラフ部は、エンコーダーが長距離文脈を強力に偏見づけていない場合、すなわちCNNや単語埋め込みにおいてのみ効果的に機能する。
• 冷却された温度を用いたConcrete分布は、高分散バックプロパゲーションを避けるとともに、近似的に離散的で意味のあるグラフを効果的に促進した。