[論文レビュー] A Survey of Deep Learning Techniques for Neural Machine Translation

Shuoheng Yang, Yuxin Wang+1 more|arXiv (Cornell University)|Feb 18, 2020

Natural Language Processing Techniques参考文献 133被引用数 98

ひとこと要約

この論文は、ニューラル機械翻訳（NMT）の起源と発展を概観し、モデルをアーキテクチャと訓練アプローチで分類し、アテンションとカバレッジ機構を強調し、今後の研究動向を概説する。

ABSTRACT

In recent years, natural language processing (NLP) has got great development with deep learning techniques. In the sub-field of machine translation, a new approach named Neural Machine Translation (NMT) has emerged and got massive attention from both academia and industry. However, with a significant number of researches proposed in the past several years, there is little work in investigating the development process of this new technology trend. This literature survey traces back the origin and principal development timeline of NMT, investigates the important branches, categorizes different research orientations, and discusses some future research trends in this field.

研究の動機と目的

• ニューラル機械翻訳（NMT）の起源と発展の時系列をたどる。
• アーキテクチャの指向性と訓練アプローチによってNMTモデルを分類する。
• 重要な構成要素（attention、語彙カバレッジ）とそれらが翻訳品質に与える影響を論じる。
• 高度なNMTモデルと潜在的な将来の方向性を評価する。

提案手法

• 歴史的なMTパラダイム（ルールベース、統計、ニューラル）の文献調査。
• アーキテクチャ別のNMTの変種の分類（RNNベース、CNNベース、Transformer）。
• エンコーダ−デコーダ構造と訓練/推論手順の検討。
• NMTにおけるattention機構とカバレッジ問題の分析。
• 高度なモデルの概要と速度と品質への実践的影響。

実験結果

リサーチクエスチョン

• RQ1 NMTの歴史における主要な発展段階とモデルファミリは何か？
• RQ2 アテンションとカバレッジ機構はNMTの翻訳品質をどのように向上させるか？
• RQ3 RNN、CNN、およびTransformerベースのNMTモデル間のトレードオフは何か？
• RQ4 NMT研究における将来の注目すべきトレンドと方向性は何か？

主な発見

• NMTは浅いアーキテクチャから深いアーキテクチャ、そしてアテンションベースおよびTransformerモデルへと発展した。
• エンコーダ−デコーダはエンドツーエンドNMTの中核構造であり、深さ、双方向性、および特殊ユニット（LSTM/GRU）を介して強化される。
• アテンション機構は長距離依存性に対処し、初期のRNN/NLMベースラインを超える翻訳品質を向上させる。
• CNNベースのNMTは速度上の利点を提供するが、アテンション/Transformerの改良があるまでは長距離依存性の扱いに苦労してきた。
• 語彙カバレッジと関連機構は現在のNMT設計において重要な検討事項である。
• 本調査は高度なモデル（例：GNMT、MoE）を取り上げ、NMTにおける将来の研究方向を予見している。