[論文レビュー] A Comprehensive Survey of Multilingual Neural Machine Translation

Raj Dabre, Chenhui Chu+1 more|arXiv (Cornell University)|Jan 4, 2020

Natural Language Processing Techniques参考文献 145被引用数 23

ひとこと要約

本包括的なサーベイは、最近の多言語ニューラル機械翻訳（MNMT）分野の進展を統合し、用途、リソース環境、モデリング原則、および根幹の課題の観点からアプローチを分類している。本研究では、共有多言語表現が知識の転送を通じて低リソース翻訳を著しく改善することを示しており、スケーラブルでエンドツーエンドの多言語システムにおける容量のボトルネックと今後の研究方向性を同定している。

ABSTRACT

We present a survey on multilingual neural machine translation (MNMT), which has gained a lot of traction in the recent years. MNMT has been useful in improving translation quality as a result of translation knowledge transfer (transfer learning). MNMT is more promising and interesting than its statistical machine translation counterpart because end-to-end modeling and distributed representations open new avenues for research on machine translation. Many approaches have been proposed in order to exploit multilingual parallel corpora for improving translation quality. However, the lack of a comprehensive survey makes it difficult to determine which approaches are promising and hence deserve further exploration. In this paper, we present an in-depth survey of existing literature on MNMT. We first categorize various approaches based on their central use-case and then further categorize them based on resource scenarios, underlying modeling principles, core-issues and challenges. Wherever possible we address the strengths and weaknesses of several techniques by comparing them with each other. We also discuss the future directions that MNMT research might take. This paper is aimed towards both, beginners and experts in NMT. We hope this paper will serve as a starting point as well as a source of new ideas for researchers and engineers interested in MNMT.

研究の動機と目的

• 研究者および実務家向けに、多言語ニューラル機械翻訳（MNMT）の文献を体系的かつ詳細にサーベイすること。
• 用途、リソースの可用性、モデリング原則、および根幹の課題に基づいてMNMTのアプローチを分類すること。
• 特に知識転送とゼロショット翻訳における既存技術の長所と短所を分析すること。
• スケーラブルで効率的かつ一般化可能な多言語翻訳システムにおける未解決問題と今後の研究方向性を同定すること。
• 多言語NMT分野の初心者および専門家にとっての基盤的リファレンスとして機能すること。

提案手法

• 用途（多方向翻訳、低リソース、マルチソース）、リソース環境（高リソース／低リソース／ゼロリソース）、モデリング原則（共有対比・個別エンコーダ／デコーダ）、および根幹の問題（例：容量ボトルネック）の4軸に沿ってMNMTアプローチを分類する。
• 注意機構付きseq2seqモデル、Transformerベースのモデル、および多言語学習向けに統合されたRNN/CNN/FFN設計を含む主要なアーキテクチャをレビューする。
• ゼロショット翻訳やピボット翻訳を含む、MNMTにおける知識転送メカニズムを分析する。低リソース言語ペアの性能が高リソース言語の監視により向上する仕組みを検証する。
• パラメータ共有、段階的学習、知識蒸留などの技術を評価し、大規模多言語モデルにおける容量ボトルネックを緩和する。
• 共同多言語・マルチドメインNMTや、統合されたASR、MT、TTSを備えたエンドツーエンド多言語音声対音声翻訳といった、新たな研究方向性について議論する。
• ベンチマークデータセットからの実証的結果を用いて、単言語、二言語、多言語NMTシステムを比較し、一般化と正則化の利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 100以上の言語ペアをカバーする単一の多言語モデルが、顕著な性能低下を伴わずに、効果的に翻訳を処理できるか？
• RQ2 高リソース言語から低リソース言語への知識転送は、多言語NMTにおける翻訳品質をどの程度向上させるか？
• RQ3 100言語ペアを超えるスケーラビリティを制限する主なアーキテクチャ的およびトレーニング上の課題は何か？
• RQ4 最適な翻訳性能を達成するために、言語に依存しない一般化と言語固有の表現力の両立を多言語表現がどのように実現できるか？
• RQ5 共同多言語・マルチドメイン学習、またはエンドツーエンド多言語音声対音声翻訳が分野の前進に果たす役割は何か？

主な発見

• 多言語NMTは、ターゲットペアに並列データが存在しなくても、知識転送を通じて低リソース言語の翻訳品質を著しく向上させる。
• 共有多言語表現によりゼロショット翻訳が可能となり、モデルはクロスリンガル転送を活用して未学習の言語ペアを翻訳できる。
• 性能向上が見られる一方で、100言語ペアを超えるスケーリングに伴い、既存モデルは容量ボトルネックに直面し、さらなる向上が制限される。
• 複数言語にわたる共同学習はモデルの一般化を促進し、正則化として機能することで、耐障害性と分布外性能を向上させる。
• 複数のソース言語を1つのターゲットに統合するマルチソース翻訳は、挑戦的だが有望な分野であり、言語固有の表現と共有表現の適切なモデリングが不可欠である。
• 将来のシステムは、RNN、CNN、自己注意機構を統合したハイブリッドアーキテクチャや、敵対的学習を活用してドメインおよび言語に依存しない表現を学習することで恩恵を受ける可能性がある。