[論文レビュー] Neural Machine Translation for Bilingually Scarce Scenarios: A Deep Multi-task Learning Approach

Poorya Zaremoodi, Gholamreza Haffari|arXiv (Cornell University)|May 11, 2018

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、共有可能な深層スタックドエンコーダ・デコーダを用いて、主な翻訳タスクと補助タスク（意味解析、構文解析、固有表現認識）を同時に学習することで、並列データが限られる状況下でもニューラル機械翻訳（NMT）の性能を向上させる深層マルチタスク学習フレームワークを提案する。パラメータの共有と敵対的学習により、共通の表現を保持しながら言語的知識を注入することで、英語→フランス語、英語→ペルシャ語、英語→ベトナム語への翻訳において、特に並列データが少ない状況でも翻訳品質が顕著に向上する。

ABSTRACT

Neural machine translation requires large amounts of parallel training text to learn a reasonable-quality translation model. This is particularly inconvenient for language pairs for which enough parallel text is not available. In this paper, we use monolingual linguistic resources in the source side to address this challenging problem based on a multi-task learning approach. More specifically, we scaffold the machine translation task on auxiliary tasks including semantic parsing, syntactic parsing, and named-entity recognition. This effectively injects semantic and/or syntactic knowledge into the translation model, which would otherwise require a large amount of training bitext. We empirically evaluate and show the effectiveness of our multi-task learning approach on three translation tasks: English-to-French, English-to-Farsi, and English-to-Vietnamese.

研究の動機と目的

• 並列モノリンガルデータが限られる二国語が乏しい言語対におけるニューラル機械翻訳の性能が低いという課題に対処すること。
• 構文的、意味的、固有表現のリソースといった、整理されたモノリンガル言語資源が、大規模な並列ビテキストを必要とせずにNMTをどのように向上させるかを調査すること。
• タスク間でパラメータを共有する深層マルチタスク学習アーキテクチャを構築し、翻訳モデルに構造的・意味的知識を注入すること。
• 補助タスクをインダクティブバイアスとして活用することで、低リソース環境における一般化性能と翻訳品質を向上させること。
• マルチタスクフレームワーク内での敵対的学習により、タスク固有のノイズが共有表現を汚染するのを防ぐこと。

提案手法

• 主な翻訳タスクと3つの補助タスク（意味解析、構文解析、固有表現認識）の両方で共通の深層スタックドエンコーダ・デコーダを用いる。
• すべてのタスクをシーケンス・ツー・シーケンス（Seq2Seq）変換問題として定式化し、主なNMTモデルと補助モデル間でパラメータを共有可能にする。
• 共有エンコーダおよびデコーダ部品間のパラメータの縛りを実装することで、補助タスクから翻訳タスクへの知識移行を可能にする。
• 共有表現空間に対して敵対的学習を適用し、タスク固有の特徴が共通知識を汚染するのを最小限に抑える。
• エンコーダに双方向RNN、デコーダに単方向RNNを用いたアテンションを備えたエンコーダ・デコーダネットワークを用いて、エンドツーエンドでモデルを学習する。
• ソース言語とターゲット言語のための別々の埋め込みテーブルを用い、アテンション機構がソース表現をターゲット生成に動的にアライメントさせる。

実験結果

リサーチクエスチョン

• RQ1 構文解析、意味解析、NERといった補助言語的タスクは、並列データが限られる低リソース・二国語が乏しい状況下で、ニューラル機械翻訳の品質を向上させることができるか？
• RQ2 スタックドエンコーダ・デコーダ間で深くパラメータを共有することで、マルチタスクNMTにおける知識移行と翻訳性能にどのような影響を与えるか？
• RQ3 敵対的学習は、マルチタスクNMTにおけるタスク固有のノイズから共有表現を効果的に保護できるか？
• RQ4 ソース側のモノリンガル言語リソースは、並列学習データの不足をどの程度補えるか？
• RQ5 本手法は、多様な言語対において、既存のMTLアプローチと比較して翻訳品質と頑健性に優れているか？

主な発見

• 提案されたマルチタスク学習アプローチは、並列データが限られる状況下でも、英語→フランス語、英語→ペルシャ語、英語→ベトナム語翻訳タスクでBLEUスコアに顕著な向上を達成した。
• 意味解析、構文解析、固有表現認識を補助タスクとして用いることで、標準的なNMTベースラインと比較して一般化性能が向上し、翻訳品質が向上した。
• 部分的なパラメータ共有を伴う深層スタックドエンコーダ・デコーダは、浅いアーキテクチャーや完全な共有よりも優れた性能を示し、効果的な知識移行にはアーキテクチャ設計が重要であることが示された。
• 敵対的学習により、タスク固有の特徴による共有表現の汚染が効果的に低減され、共通知識の質が維持された。
• 英語から大きく逸脱する言語対を含む多様な言語対においても、本手法は強力な有効性を示し、低リソース環境における頑健性を示した。
• 実験的結果から、MTLによる言語的知識の注入が、並列データが乏しい状況下で翻訳性能を顕著に向上させることを確認した。