[論文レビュー] On Compositionality in Neural Machine Translation

Vikas Raunak, Vaibhav Kumar+1 more|arXiv (Cornell University)|Nov 4, 2019

Natural Language Processing Techniques参考文献 15被引用数 15

ひとこと要約

この論文は、ニューラル機械翻訳における構文的整合性のための主要な障害要因として、不十分なエンコーダ表現を特定し、入力語の存在をよりよく捉えるようにエンコーダを強化するシンプルなbag-of-words事前学習手法を提案する。この手法により、系統的タスクで16.39 BLEUポイント、生産的タスクで1.9 BLEUポイントのBLEUスコア向上が達成された。これは、入力語の存在をエンコーダがよりよく捉えるように強制することで実現された。

ABSTRACT

We investigate two specific manifestations of compositionality in Neural Machine Translation (NMT) : (1) Productivity - the ability of the model to extend its predictions beyond the observed length in training data and (2) Systematicity - the ability of the model to systematically recombine known parts and rules. We evaluate a standard Sequence to Sequence model on tests designed to assess these two properties in NMT. We quantitatively demonstrate that inadequate temporal processing, in the form of poor encoder representations is a bottleneck for both Productivity and Systematicity. We propose a simple pre-training mechanism which alleviates model performance on the two properties and leads to a significant improvement in BLEU scores.

研究の動機と目的

• 標準的なシーケンス・トゥ・シーケンスモデルがニューラル機械翻訳において真の構文的整合性を示すかどうかを調査すること。
• 構文的整合性タスクにおける性能の低さが、エンコーダ表現における時間的処理の不十分さに起因することを診断すること。
• エンコーダ表現を強化することで、系統的一般化と生産的一般化を改善するための事前学習メカニズムを提案すること。
• 改善された表現がNMTにおけるBLEUスコアおよび構文的一般化に与える影響を評価すること。

提案手法

• 入力文のbag-of-words表現を予測するようにエンコーダを事前学習し、語彙全体に対してシグモイド出力層を用いる。
• 予測された語の存在ベクトルと真の語の存在ベクトルの差を最小化するため、交差エントロピー損失関数を用いる。
• 各語の存在が入力シーケンス内で0または1としてラベル付けされたマスク化された目的関数に基づいてエンコーダを学習する。
• 機械翻訳の微調整の前に、事前学習済みエンコーダ重みを用いて完全なSeq2Seqモデルを初期化する。
• 2つの構文的整合性タスクの評価：文のペアを連結して翻訳する（生産的）、未知語を含む文を翻訳する（系統的）。
• フィードフォワードネットワークを用いて、エンコーダ表現の語の存在および部分文字列検出をプローブし、表現の質を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なSeq2Seqモデルは、学習長さを超えて翻訳で一般化することができるか。これは生産的であることを示唆する。
• RQ2 未知の語の組み合わせに直面した際、Seq2Seqモデルは既知の部分とルールを系統的に再結合できるか。
• RQ3 不十分なエンコーダ表現が、NMTにおける構文的一般化能力の制限要因としてどの程度影響を及ぼすか。
• RQ4 bag-of-words目的関数に基づくエンコーダの事前学習は、構文的一般化およびBLEUスコアの向上に寄与するか。

主な発見

• 標準的なSeq2Seqモデルは、連結文のペア翻訳タスクでBLEUスコア27.50を達成し、単一文ベースラインの30.19から2.69 BLEUポイント低下しており、これは生産性の低さを示している。
• エンコーダは長文シーケンスにおいて初期の語の情報を保持できず、最終隠れ状態での最初の文のbag-of-words表現の再構築性能が低いことから明らかになった。
• 系統的タスクにおいて、モデルは「daxy」という語を正しく予測する確率が12.25%にとどまり、事前学習済みエンコーダでは50%に上昇した。
• bag-of-words事前学習手法により、生産的タスクのBLEUスコアは24.5から26.4に上昇し、p値0.011という統計的に有意な改善が得られた。
• 系統的タスクにおいて、事前学習済みモデルはベースラインの36.14に対し52.53のBLEUスコアを達成し、顕著な向上が確認された。
• 事前学習済みエンコーダは、未知語検出における精度と再現率の両方を向上させ、語彙外要素への表現一般化が向上していることを示している。