[論文レビュー] Neural Machine Translation: Challenges, Progress and Future

Jiajun Zhang, Chengqing Zong|arXiv (Cornell University)|Apr 13, 2020

Natural Language Processing Techniques参考文献 168被引用数 10

ひとこと要約

この招待レビューは、ニューラル機械翻訳（NMT）の包括的な概要を提供し、そのフレームワーク、低リソース翻訳やマルチモーダル翻訳といった主な課題、および多言語および半教師ありNMTを含む最近の進展をカバーしている。Transformerアーキテクチャが最先端のパラダイムであると強調し、解釈可能で、頑健性があり、背景知識に配慮したNMTモデルといった今後の研究分野を特定している。

ABSTRACT

Machine translation (MT) is a technique that leverages computers to translate human languages automatically. Nowadays, neural machine translation (NMT) which models direct mapping between source and target languages with deep neural networks has achieved a big breakthrough in translation performance and become the de facto paradigm of MT. This article makes a review of NMT framework, discusses the challenges in NMT, introduces some exciting recent progresses and finally looks forward to some potential future research trends. In addition, we maintain the state-of-the-art methods for various NMT tasks at the website https://github.com/ZNLP/SOTA-MT.

研究の動機と目的

• ルールベースおよび統計的手法から、ニューラル機械翻訳（NMT）の進化と現在の状態をレビューすること。
• 低リソース翻訳、マルチモーダル翻訳、ドメイン適応といったNMTにおける主な課題を特定・分析すること。
• 半教師あり、多言語、知識統合型NMTフレームワークにおける最近の技術的進歩を調査すること。
• Transformerを超えたアーキテクチャ的イノベーション、耐性、解釈可能性といったオープンな問題を検討すること。
• 特に背景知識の統合と推論の一貫性の向上を目的とした、NMTにおける今後の研究分野を予測すること。

提案手法

• 入力言語シーケンスと出力言語シーケンスの直接的なマッピングをモデル化するために、深層ニューラルネットワークを用いたエンコーダ・デコーダフレームワークを採用する。
• 現代のNMTシステムにおける標準的なトークン化手法として、サブワードトークン化（例：SentencePiece）を用いる。
• 自己注意機構を活用してシーケンス内の長距離依存関係を捉えることで、Transformerアーキテクチャを適用する。
• デコード中に動的に入力表現と出力表現をアライメントするために、注目機構を適用する。
• 低リソース性能の向上を目的として、半教師ありおよび教師なしNMTにおけるバックトランスレーションおよび知識蒸留技術を用いる。
• 異なる微分可能モジュールや注目に基づくインジェクションを介して、事前知識（例：二国語語彙、知識グラフ）をNMTに統合する。

実験結果

リサーチクエスチョン

• RQ1 入力にノイズや敵対的摂動が加えられた場合でも、翻訳品質を維持しつつ、NMTシステムをどのようにして頑健にすることができるか？
• RQ2 外部知識（例：二国語語彙、知識グラフ）をエンドツーエンドのNMTモデルに効果的に統合する最良の方法は何か？
• RQ3 画像や音声といったマルチモーダル信号を、ニューラル機械翻訳において効果的にテキストと統合するにはどうすればよいか？
• RQ4 Transformerを超えるアーキテクチャ的イノベーションは、NMTにおける効率性、正確性、一般化性能をどのように向上させることができるか？
• RQ5 特に未知のドメインやドメイン外のドメインにおいて、ラベル付きのドメイン内データを必要とせずにドメイン適応を達成するにはどうすればよいか？

主な発見

• NMTは翻訳品質において大きな飛躍を遂げており、特にTransformerアーキテクチャの導入により、特定の言語対では人間水準の性能に近づいている。
• 低リソースNMTは依然として挑戦的であり、教師なしモデルでは遠く離れた言語対で10 BLEU未満にとどまっていることから、さらなる改善の余地が大きい。
• スピーク翻訳や画像キャプション翻訳を含むマルチモーダルNMTは、特に訓練データが限られる状況では、カスケード型システムに比べて性能が劣っている。
• バックトランスレーションを用いた半教師ありNMTは有効ではあるが、計算コストが高く、より効率的な学習戦略の必要性を示唆している。
• 現在のNMTモデルは入力の摂動に対して極めて感受性が高く、解釈性に欠けることから、解釈可能で頑健なアーキテクチャの開発が急務である。
• 進展は見られるものの、訓練と推論の間のギャップは依然として深刻な問題であり、特に自己回帰的生成において出力の一貫性と品質に影響を与えている。