[論文レビュー] Modeling Coherence for Discourse Neural Machine Translation

Hao Xiong, Zhongjun He+2 more|arXiv (Cornell University)|Nov 14, 2018

Natural Language Processing Techniques参考文献 25被引用数 11

ひとこと要約

本稿では、文間の整合性を向上させるために、報酬教師を用いた2パスデコーダーモデルを提案する。このモデルは、文単位の翻訳を改善するために、グローバルなテキスト文脈を活用する。報酬教師は双方向RNNに基づき、文脈の整合性を最大化する方策を学習する。このモデルは、強力なベースラインに対して、文単位の指標で+1.23 BLEU、文脈単位の指標で+2.2 BLEUの向上を達成した。

ABSTRACT

Discourse coherence plays an important role in the translation of one text. However, the previous reported models most focus on improving performance over individual sentence while ignoring cross-sentence links and dependencies, which affects the coherence of the text. In this paper, we propose to use discourse context and reward to refine the translation quality from the discourse perspective. In particular, we generate the translation of individual sentences at first. Next, we deliberate the preliminary produced translations, and train the model to learn the policy that produces discourse coherent text by a reward teacher. Practical results on multiple discourse test datasets indicate that our model significantly improves the translation quality over the state-of-the-art baseline system by +1.23 BLEU score. Moreover, our model generates more discourse coherent text and obtains +2.2 BLEU improvements when evaluated by discourse metrics.

研究の動機と目的

• 標準的なNMTモデルが文単位で翻訳を行うため、文間の整合性に欠けるという問題に対処すること。
• 文の間の文脈的依存関係や接続をモデル化し、テキストのなめらかさと整合性を向上させること。
• 自然で整合性のある文脈単位の翻訳を生成するのを促進する方策学習フレームワークを開発すること。
• 報酬教師を用いて、文脈の整合性を推定する手法が、方策学習における文脈の整合性向上に有効であるかを検証すること。

提案手法

• 2パスデコーダーのアーキテクチャ：最初のパスで文単位の初期翻訳を生成し、2番目のパスで外部の文脈を用いてそれを精緻化する。
• 外部文脈は、モデル自身が他の文の翻訳を予測した結果から構築され、露出バイアスを低減する。
• 双方向RNNに基づく報酬教師が、単語埋め込みの平均値を用いて文の類似度をモデル化することで、文脈の整合性を推定する。
• 報酬教師は、Word2Vec埋め込みからの平均プールド単語ベクトル間のコサイン類似度を用いて、文の類似度を計算する。
• 強化学習による方策学習により、2番目のパスデコーダーが文脈の整合性報酬を最大化するように最適化される。
• モデルは、Transformerアーキテクチャを用いてエンドツーエンドで訓練され、IWSLT TEDトークスデータを用いたファインチューニングが行われた。

実験結果

リサーチクエスチョン

• RQ1 外部の文脈を用いた2パスデコーディング戦略は、NMTにおける文脈の整合性を向上させることができるか？
• RQ2 文脈の整合性を推定する報酬教師を用いて訓練することで、生成されたテキストのなめらかさと整合性が向上するか？
• RQ3 文単位および文脈単位の両方の指標において、このモデルの性能は強力なベースラインと比べてどうなるか？
• RQ4 報酬教師のトレーニングデータのスタイルが、生成された翻訳の品質に影響を与えるか？

主な発見

• 提案されたモデルは、強力なベースラインシステムに対して、文単位のBLEUスコアを+1.23ポイント向上させた。
• 文脈単位の指標では、モデルはベースラインに対して+2.2 BLEUの向上と+1.98 METEORの向上を達成した。
• TEDトークスデータでトレーニングされた報酬教師は、Gigawordなどのドメイン外コーパスでトレーニングされたものよりも優れており、スタイルの一貫性が重要であることを示している。
• モデルは、ベースラインと比較して、より多様で適切な接続詞（例：'And'、'But'、'So'）を生成しており、文脈的結束性の向上が示唆される。
• 隣接する文間のコサイン類似度は、1パス目での0.5943から、2パス-BLEU-RLでの0.6014に上昇しており、文単位の整合性が向上していることが示された。
• 人的評価では、モデルの出力が人間の基準翻訳に、文脈のなめらかさと整合性において近いことが確認された。