[論文レビュー] Machine Translation: A Literature Review

Ankush Garg, Mayank Agarwal|arXiv (Cornell University)|Dec 28, 2018

Natural Language Processing Techniques参考文献 46被引用数 9

ひとこと要約

この文献レビューでは、ルールベースおよび統計的手法から現代のニューラル機械翻訳（NMT）への機械翻訳の進化を概説し、注目メカニズム、系列対系列モデリング、および教師なし学習の進展を強調している。NMTが最先端の性能を達成していることが示されており、最近のモデル『One Model to Learn Them All』によりマルチタスク学習が可能になり、限定的な並列データでも教師なしNMTが顕著な向上を示している。

ABSTRACT

Machine translation (MT) plays an important role in benefiting linguists, sociologists, computer scientists, etc. by processing natural language to translate it into some other natural language. And this demand has grown exponentially over past couple of years, considering the enormous exchange of information between different regions with different regional languages. Machine Translation poses numerous challenges, some of which are: a) Not all words in one language has equivalent word in another language b) Two given languages may have completely different structures c) Words can have more than one meaning. Owing to these challenges, along with many others, MT has been active area of research for more than five decades. Numerous methods have been proposed in the past which either aim at improving the quality of the translations generated by them, or study the robustness of these systems by measuring their performance on many different languages. In this literature review, we discuss statistical approaches (in particular word-based and phrase-based) and neural approaches which have gained widespread prominence owing to their state-of-the-art results across multiple major languages.

研究の動機と目的

• 機械翻訳研究の歴史的発展と現在の状態を包括的に概説すること。
• 特に単語ベースおよびフレーズベースのモデルを含む統計的機械翻訳（SMT）の長所と短所を分析すること。
• ニューラル機械翻訳（NMT）の台頭と、注目メカニズムや系列対系列モデリングを含むアーキテクチャ的革新を検討すること。
• 単一言語データとバックトランスレーションを用いた教師なしおよび低リソースニューラル機械翻訳の最新の進展を調査すること。
• 『One Model to Learn Them All』のような統合的マルチタスクアーキテクチャが、自然言語処理タスク全体にわたる一般化を向上させる可能性を評価すること。

提案手法

• 意味的および構造的課題に重点を置いた、直接的、トランスファー型、インタリングアスラル型システムを含むルールベース機械翻訳（RBMT）の基盤的研究を調査した。
• 式 $ T = \arg\max_T P(T|S) = \arg\max_T P(T)P(S|T) $ を用いた統計的機械翻訳（SMT）のレビューにおいて、$ P(T) $ を言語モデル、$ P(S|T) $ を翻訳モデルと定義した。
• フレーズベースSMTは、フレーズ単位での翻訳をモデル化し、アライメントモデルと歪みモデルを用いてスムーズさと正確性を向上させた。
• 注目メカニズムを用いたエンコーダデコーダアーキテクチャを用いたニューラル機械翻訳（NMT）を検討し、文脈モデリングと長距離依存関係の改善を実現した。
• ノイズ除去オートエノードとリアルタイムバックトランスレーションを用いた教師なしNMT技術について議論し、擬似並列単一言語データを生成した。
• 共有エンコーダ、モality固有のヘッド、およびエキスパートの混合を用いた『One Model to Learn Them All』のようなマルチタスクNMTアーキテクチャを評価し、タスク間の共同学習を実現した。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ、性能、データ要件の観点から、ルールベース、統計的、ニューラル機械翻訳システムはどのように進化してきたか？
• RQ2 注目メカニズムと系列対系列モデリングは、以前のSMTアプローチと比較して、ニューラル機械翻訳においてどのような主な利点を提供するか？
• RQ3 完全に単一言語データでのみ学習された教師なしNMTモデルは、教師ありシステムと同等の性能にどの程度到達できるか？
• RQ4 統合的ニューラルアーキテクチャは、複数のNLPタスク（機械翻訳を含む）を効果的に学習できるか、かつ個々のタスクの性能を損なわないか？
• RQ5 バックトランスレーションやノイズ除去技術は、低リソースニューラル翻訳システムのロバスト性と一般化能力をどのように向上させるか？

主な発見

• ニューラル機械翻訳（NMT）は翻訳品質において統計的手法を上回り、中国語から英語へのニュース翻訳タスクで人間の水準に達した。
• NMTにおける注目メカニズムは、翻訳中に関連する元言語語の単語に注目できるようにすることで、性能を顕著に向上させた。
• ノイズ除去とリアルタイムバックトランスレーションを用いた教師なしNMTは、ドイツ語-英語およびフランス語-英語翻訳タスクで、ベースラインスコアを最低40％向上させた。
• 『One Model to Learn Them All』アーキテクチャは、多様なタスク（機械翻訳を含む）において準最先端の性能を達成し、効率性と一般化能力を維持した。
• 未知語（OOV）語のための語アライメント情報が追加されたNMTシステムは、WMT’14英語-フランス語タスクでBLEUスコアを最大2.8ポイント向上させた。
• 限定的な並列データでさえも、教師なしNMT手法は測定可能な向上を示しており、低リソース言語翻訳における強い潜在的価値を示している。