[論文レビュー] Learning to Discriminate Noises for Incorporating External Information in Neural Machine Translation

Zaixiang Zheng, Shujian Huang+4 more|arXiv (Cornell University)|Oct 24, 2018

Natural Language Processing Techniques参考文献 35被引用数 4

ひとこと要約

本論文は、教師なしデータを必要とせず、外部情報（例：SMT出力、辞書、人間による修正）に含まれるグローバルノイズとローカルノイズを同時に同定することで、ニューラル機械翻訳（NMT）の品質向上を図るノイズ判別フレームワークを提案する。並列コーパスから合成データを用いて学習されたモデルは、デコード段階で不要な語をフィルタリングすることで、特に高ノイズ条件下でも翻訳品質を顕著に向上させる。

ABSTRACT

Previous studies show that incorporating external information could improve the translation quality of Neural Machine Translation (NMT) systems. However, there are inevitably noises in the external information, severely reducing the benefit that the existing methods could receive from the incorporation. To tackle the problem, this study pays special attention to the discrimination of the noises during the incorporation. We argue that there exist two kinds of noise in this external information, i.e. global noise and local noise, which affect the translations for the whole sentence and for some specific words, respectively. Accordingly, we propose a general framework that learns to jointly discriminate both the global and local noises, so that the external information could be better leveraged. Our model is trained on the dataset derived from the original parallel corpus without any external labeled data or annotation. Experimental results in various real-world scenarios, language pairs, and neural architectures indicate that discriminating noises contributes to significant improvements in translation quality by being able to better incorporate the external information, even in very noisy conditions.

研究の動機と目的

• 外部情報に含まれるノイズがニューラル機械翻訳（NMT）の性能向上を損なうという課題に対処すること。
• グローバルノイズ（文全体に対して不適切な語）とローカルノイズ（特定の翻訳ステップで不適切な語）の2種類のノイズを同定すること。
• 外部ラベルやタスク固有のチューニングを必要とせず、両方のノイズタイプを判別できる汎用性の高いフレームワークを開発すること。
• ノイズ判別が多様な実世界のシナリオや言語対において一貫した改善をもたらすことを示すこと。

提案手法

• フレームワークは2つの独立した識別器を採用する：グローバル語識別器は外部語が文全体に対してどれだけ関連性があるかを評価し、ローカル語識別器は各デコードステップでの関連性を評価する。
• 外部情報は、SMT出力、バイリンガル辞書、人間による修正など、さまざまなソースを一般化した「外部語」としての語の集合として表現される。
• 人間によるノイズラベルが不要なため、並列文から語をサンプリングすることで生成された合成データ上でモデルを学習する。
• 訓練プロセスでは、元の並列コーパスを用いて、現実的ではあるがノイズを含む外部語集合を生成し、自己教師学習を可能にする。
• 推論段階では、識別器がノイズの高い語をフィルタリングし、NMTデコーダーのアテンションや出力生成に影響を与えるのを防ぐ。
• 再訓練や適応なしに、さまざまなニューラルアーキテクチャや実世界の外部データソースに一貫して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 外部情報内のグローバルおよびローカルノイズは、NMTの翻訳品質にどのように影響を与えるか？
• RQ2 外部ラベルに依存せず、統合的なフレームワークでグローバルおよびローカルノイズを効果的に判別できるか？
• RQ3 ノイズ判別は、特に高ノイズ条件下で測定可能な翻訳性能の向上をもたらすか？
• RQ4 合成データで学習したモデルは、タスク固有の微調整なしに、多様な外部情報ソースに一般化できるか？

主な発見

• 外部情報内のノイズは、NMTシステムにおけるそのデータの統合による性能向上を著しく阻害することが分かった。
• 提案されたノイズ判別フレームワークは、SMTシナリオでBLEUスコア35.71を達成し、ベースライン（33.28）を上回り、ノイズが多い状況での向上幅が最大であった。
• 語彙テーブルを用いたLexシナリオでは、ベースラインの32.57から34.10に向上し、語レベルの翻訳テーブルに対しても有効性が示された。
• 再訓練やチューニングなしに、SMT、語彙テーブル、辞書、ボトムアップ予測（bag-of-words）の4つの実世界シナリオに良好に一般化した。
• 事例研究では、最小限の人的修正でも、外部語入力を用いてNMTの誤り（例："working" を "moving" に置き換え）を正しく是正できた。
• 異なるニューラルアーキテクチャや言語対においても、フレームワークは強固で、高い汎用性を示した。