[論文レビュー] Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism

Longyue Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、中国語のようなプロドロップ言語における省略された代名詞（DP）の翻訳を向上させるために、同時に翻訳とDPの予測を行う共通の再構成メカニズムと共同学習フレームワークを提案する。エンコーダーとデコーダーの表現間で再構成器を共有し、翻訳とDP予測を共同で学習させることで、先行研究より+1.45 BLEUポイントの向上を達成し、DP予測のF1スコアも9%向上させ、外部予測モデルによる誤り伝播を顕著に低減した。

ABSTRACT

Pronouns are frequently omitted in pro-drop languages, such as Chinese, generally leading to significant challenges with respect to the production of complete translations. Recently, Wang et al. (2018) proposed a novel reconstruction-based approach to alleviating dropped pronoun (DP) translation problems for neural machine translation models. In this work, we improve the original model from two perspectives. First, we employ a shared reconstructor to better exploit encoder and decoder representations. Second, we jointly learn to translate and predict DPs in an end-to-end manner, to avoid the errors propagated from an external DP prediction model. Experimental results show that our approach significantly improves both translation performance and DP prediction accuracy.

研究の動機と目的

• 中国語のようなプロドロップ言語において、代名詞が省略されているが、英語のような非プロドロップ言語では必要となるため、省略された代名詞（DP）の翻訳の課題に対処すること。
• 現在のF1スコアがたった66%にとどまる外部DP予測モデルによる誤り伝播を軽減すること。
• エンコーダーとデコーダーの表現間で再構成器を共有し、翻訳とDP予測をエンドツーエンドで共同学習させることで、翻訳品質とDP予測精度を向上させること。
• エンコーダーとデコーダー間で再構成器を共有することで、クロスモodalな関係を活用し、表現学習を強化すること。

提案手法

• 共通の再構成器がエンコーダーとデコーダーの隠れ状態を読み込み、DPアノテート済みの元文を再構成することで、エンコーダーとデコーダーの表現間での知識共有を可能にする。
• モデルは、再構成器の隠れ状態を文脈として用い、訓練中に正しい位置でDPを予測するための共同予測ヘッドを統合している。
• 訓練目的には、元文とDP予測の両方の再構成損失が含まれており、DP関連の特徴を学習するようにモデルを誘導する。
• デコーダーの文脈におけるDP関連情報のより良いアライメントを実現するために、エンコーダーからデコーダーへのインタラクションアテンション機構が使用されている。
• 外部DP予測モデルに依存しないように、再構成とDP予測の補助損失を用いてエンドツーエンドで訓練されている。
• 再構成は、エンコーダーとデコーダーの表現それぞれに別個のコンテキストベクトルを用いてアテンションベースで実行され、再構成済みの元文上でアテンションを計算することで算出される。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの両方の隠れ状態を処理する共通の再構成器は、別個の再構成器と比較して、DP翻訳性能を向上させることができるか？
• RQ2 NMTモデルをDP予測ヘッドと共同で訓練することで、外部DP予測器による誤り伝播が軽減されるか？
• RQ3 共同学習は、翻訳品質とDP予測精度の両方をどの程度向上させるか？
• RQ4 エンコーダーとデコーダーの表現間の相互作用は、省略された代名詞を回復する能力にどのように影響するか？
• RQ5 DPPラベル付け精度が不十分であっても、外部DPP予測ツールに依存せずに高い性能を達成できるか？

主な発見

• 提案モデルは、Wangら（2018）が報告した最高性能より+1.45 BLEUポイント向上し、共通再構成と共同予測を用いることで34.80 BLEUに達した。
• 共同訓練されたDP予測モデルは75%のF1スコアを達成し、外部モデルの66%から9%向上した。
• エンコーダーからデコーダーへのインタラクションアテンションを備えた共通再構成器が最良の性能を示し、ベースラインより+3.45 BLEUポイント向上した。
• 再構成を推論時ではなく訓練時でのみ使用する場合でも、モデルはベースラインおよび先行SOTAを上回った。これは、強力な一般化性能と実用性を示している。
• 自動ラベル付けと手動ラベル付けのDPP間の性能差が縮小された。これは、共同学習機構によって誤り伝播が軽減されたことを示唆している。
• 先行モデルよりもオラクル性能（手動ラベル付け済みDPP）に近づいた。これは、ノイズの多い入力DPPアノテーションに対してもモデルの頑健性が高いことを示している。