[論文レビュー] Findings of the First Shared Task on Machine Translation Robustness

Xian Li, Paul Michel+8 more|arXiv (Cornell University)|Jun 27, 2019

Topic Modeling参考文献 31被引用数 9

ひとこと要約

本論文は、英語-フランス語および英語-日本語の対話方向における、ノイズが多いソーシャルメディアテキストに対する機械翻訳の耐性に関する最初の共有タスクの成果を提示する。参加者はデータ拡張、ファインチューニング、モノリンガルデータを活用して耐性を向上させ、ベースライン比で最大+22.33 BLEUの向上を達成した。人間評価とBLEUの間には強い相関関係（r = 0.95）が確認された。

ABSTRACT

We share the findings of the first shared task on improving robustness of Machine Translation (MT). The task provides a testbed representing challenges facing MT models deployed in the real world, and facilitates new approaches to improve models; robustness to noisy input and domain mismatch. We focus on two language pairs (English-French and English-Japanese), and the submitted systems are evaluated on a blind test set consisting of noisy comments on Reddit and professionally sourced translations. As a new task, we received 23 submissions by 11 participating teams from universities, companies, national labs, etc. All submitted systems achieved large improvements over baselines, with the best improvement having +22.33 BLEU. We evaluated submissions by both human judgment and automatic evaluation (BLEU), which shows high correlations (Pearson's r = 0.94 and 0.95). Furthermore, we conducted a qualitative analysis of the submitted systems using compare-mt, which revealed their salient differences in handling challenges in this task. Such analysis provides additional insights when there is occasional disagreement between human judgment and BLEU, e.g. systems better at producing colloquial expressions received higher score from human judgment.

研究の動機と目的

• ソーシャルメディアやユーザーアイテムコンテンツに一般的に見られるノイズが多く、非形式的な入力に対して神経機械翻訳（NMT）モデルが脆くなるという課題に対処する。
• 現実世界の展開環境における綴りのばらつき、文法的誤り、ドメインシフトに対する耐性を向上させる。
• モデルの汎化能力を高めるために、ドメイン外の平行データおよび大規模なモノリンガルウェブデータの有効な活用を検討する。
• ソーシャルメディアテキスト翻訳における主な課題を系統的な評価と定性的分析を通じて同定し、今後の研究を導く。

提案手法

• 英語-フランス語および英語-日本語の方向を対象に、ノイズのあるRedditコメントとプロフェッショナル翻訳を含むMTNTデータセットを活用した。
• 耐性向上を促進する制約付きの設定を採用し、ドメイン外の平行データとドメイン内モノリンガルデータの使用を奨励した。
• データクリーニング、ドメインに配慮したトレーニング、データ拡張（バックトランスレーションおよびプレースホルダータグの追加を含む）、およびドメイン内ノイズデータに対するファインチューニングを実施した。
• 翻訳品質および耐性を評価するために、自動評価（BLEU）と人間評価を併用した。
• 比較翻訳ツール（compare-mt）を用いた定性的分析により、大文字の変化、特殊文字、口語表現などの特定のノイズタイプに対するシステムの挙動を検証した。
• 大文字の単語、絵文字、句読点の不正な使用、口語的レジスタといった特定の言語的現象に対するシステムのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 データ拡張およびファインチューニングは、ノイズが多く非形式的なソーシャルメディアテキストに対するNMTの耐性をどの程度向上させ得るか？
• RQ2 ドメイン外の平行データおよびモノリンガルウェブデータは、ドメインシフトと入力ノイズを緩和するためにどの程度効果的か？
• RQ3 翻訳品質を低下させる主な言語的課題（例：特殊文字、すべて大文字の単語、口語表現）は何か。また、システムはそれらをどのように処理するか？
• RQ4 ノイズに対する耐性を評価する際、BLEUのような自動指標は人間の判断とどの程度相関しているか？
• RQ5 実世界のMT応用において、多様なノイズタイプに対処する上で、どの具体的な技術が最も顕著な改善をもたらしたか？

主な発見

• 最良のシステムはベースライン比で+22.33 BLEUの向上を達成し、ノイズの多い入力に対する耐性向上に顕著な進展を示した。
• 人間評価とBLEUの間には高い相関関係（ピアソンのr = 0.95）が確認され、BLEUが本タスクにおいても信頼できる自動指標であることが示された。
• ケースセンシティブ性を保持したシステム—特にすべて大文字の単語を正確に翻訳できたシステム—が顕著に優れており、ケースごとのFスコアからその差が明確に示された。
• 特殊文字の処理は大きくばらついた：NLEはUnicode絵文字で優れた性能を示したが、NTTは日本語風の絵文字処理に優れていた。これはモデル固有の強みを示している。
• 非標準的な句読点や記号の連続（例：複数のアスタリスク）は課題を引き起こし、NLEはNTTに比べてそのような状況でより耐性があることが示された。
• 口語表現は重要な差を生じさせた：NTTはNLEに比べてより口語的なレジスタの翻訳を生成した。これは、ドメイン内データでのファインチューニングが、出力スタイルを入力のフォーマルさに合わせるのに有効であることを示唆している。