[論文レビュー] Improving Robustness of Machine Translation with Synthetic Noise

Vaibhav Vaibhav, Sumeet Singh+2 more|arXiv (Cornell University)|Feb 25, 2019

Natural Language Processing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、ソーシャルメディアのテキストに見られる自然なノイズに対する機械翻訳のロバスト性を向上させる2つの手法を提案する：スプーキングエラー、文法的ミス、スラングを模倣するための合成ノイズ誘導（SNI）、およびスタイルに整合したノイズ付き並列データを生成するための的を絞ったバックトランスレーション（TBT）。両手法ともMTNTベンチマークでBLEUスコアを顕著に向上させ、TBTはSNIを0.9 BLEU上回り、微調整なしにノイズの多いドメイン外テキストに一般化可能なヴァナイラモデルを可能にする。

ABSTRACT

Modern Machine Translation (MT) systems perform consistently well on clean, in-domain text. However most human generated text, particularly in the realm of social media, is full of typos, slang, dialect, idiolect and other noise which can have a disastrous impact on the accuracy of output translation. In this paper we leverage the Machine Translation of Noisy Text (MTNT) dataset to enhance the robustness of MT systems by emulating naturally occurring noise in otherwise clean data. Synthesizing noise in this manner we are ultimately able to make a vanilla MT system resilient to naturally occurring noise and partially mitigate loss in accuracy resulting therefrom.

研究の動機と目的

• 合成ノイズがソーシャルメディアのテキストに見られる自然なノイズを効果的に模倣できるかどうかを調査すること。
• 人工的にノイズを加えたデータでヴァナイラMTシステムを微調整することで、実際のノイズ付きテストセットでのロバスト性が向上するかどうかを評価すること。
• ドメイン適応の観点から、ヒューリスティックな合成ノイズ誘導（SNI）と的を絞ったバックトランスレーション（TBT）の有効性を比較すること。
• 教師データ量とノイズレベルの変動がモデルの一般化能力および翻訳品質に与える影響を評価すること。

提案手法

• ヒューリスティックな合成ノイズ誘導（SNI）は、ルールベースの変換を用いて、クリーンな並列文に一般的なソーシャルメディアのノイズタイプ（スペルミス、文法的ミス、スラング）を意図的に挿入する。
• 的を絞ったバックトランスレーション（TBT）は、ノイズタグを用いたバックトランスレーションにより、実際のノイズ付きテキストのスタイルと語彙的特徴を保持するノイズ付きのターゲット文を生成する。
• ベースラインのTransformerに類似したLSTMエンコーダデコーダモデルは、クリーンデータ（Europarl, TED）と合成ノイズ付きデータ（MTNT, TBT, SNI）の組み合わせで微調整される。
• ノイズの注入は、乱数で選ばれた文の位置に、不適切な表現、タイポ、非公式な文法を含めて行われ、現実世界の言語的多様性を模倣する。
• 効率性のため、モデルはSentencePieceを用いたByte-Pair Encoding（BPE）と、埋め込み層と出力投影層の重みを共有する構造を採用する。
• 実験では、MTNTテストセットにおけるBLEUスコアを用いて性能を評価し、ノイズレベルと教師データサイズのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな手法を用いて、ソーシャルメディアのテキストに一般的に見られるノイズタイプを効果的に合成できるか？
• RQ2 人工的にノイズを加えたデータでヴァナイラMTシステムを微調整することで、実際のノイズ付きテストセットでの性能が向上するか？
• RQ3 的を絞ったバックトランスレーション（TBT）は、ヒューリスティックな合成ノイズ誘導（SNI）に比べて、ロバスト性の向上にどの程度効果的か？
• RQ4 合成ノイズ量と教師データ量の変動がモデルの性能に与える影響は何か？

主な発見

• TBT手法はMTNTテストセットでSNIを0.9 BLEU上回り、スタイルに配慮したノイズ注入がより良い一般化をもたらすことが示された。
• 20k件のMTNT例で微調整すると10kの場合に比べて翻訳品質が顕著に向上し、教師データ量の増加が「very」のような微妙な語彙的特徴を捉えるのに寄与することがわかった。
• ノイズレベルとBLEUスコアの間には概ね線形関係が見られ、ノイズレベルが高くなるほど性能が徐々に低下した。
• 合成ノイズに不適切な表現（profanity）を含めるとBLEUスコアに最も悪影響を及ぼし、現在のノイズ注入手法が自然な汚職語使用パターンを十分に再現できていない可能性を示唆した。
• 最良のモデル（FT w/ EP-100k-TBT + MTNT-train-20k）は、検閲処理済みの不適切な表現を含むにもかかわらず、出力が参照文とスタイルおよび内容の両面で類似していた。
• 単にクリーンデータ（例：TED-100k）で微調整するだけでは最小限の向上しか得られず、ロバスト性を確保するにはノイズ対応のデータ拡張が不可欠であることが浮き彫りになった。