[論文レビュー] Exploiting Linguistic Resources for Neural Machine Translation Using Multi-task Learning

Jan Niehues, Eunah Cho|arXiv (Cornell University)|Aug 3, 2017

Natural Language Processing Techniques参考文献 21被引用数 15

ひとこと要約

本論文は、語彙的リソース（特に品詞タグと固有表現）をエンドツーエンドのニューラル機械翻訳（NMT）モデルに統合するためのマルチタスク学習を提案する。共有エンコーダ・デコーダアーキテクチャを用いてNMTと品詞タギング、固有表現認識を同時に学習することで、翻訳品質が最大1.5 BLEUポイント向上し、品詞タギング性能は相対的に30–50%向上する。特に低リソース条件下で顕著な向上が見られた。

ABSTRACT

Linguistic resources such as part-of-speech (POS) tags have been extensively used in statistical machine translation (SMT) frameworks and have yielded better performances. However, usage of such linguistic annotations in neural machine translation (NMT) systems has been left under-explored. In this work, we show that multi-task learning is a successful and a easy approach to introduce an additional knowledge into an end-to-end neural attentional model. By jointly training several natural language processing (NLP) tasks in one system, we are able to leverage common information and improve the performance of the individual task. We analyze the impact of three design decisions in multi-task learning: the tasks used in training, the training schedule, and the degree of parameter sharing across the tasks, which is defined by the network architecture. The experiments are conducted for an German to English translation task. As additional linguistic resources, we exploit POS information and named-entities (NE). Experiments show that the translation quality can be improved by up to 1.5 BLEU points under the low-resource condition. The performance of the POS tagger is also improved using the multi-task learning scheme.

研究の動機と目的

• 品詞タグや固有表現といった言語的リソースがニューラル機械翻訳性能に与える影響を調査すること。
• 外部の言語的知識をエンドツーエンドNMTモデルに統合する手法としてマルチタスク学習を検討すること。
• タスク、トレーニングスケジュール、パラメータ共有といった設計選択が翻訳および補助タスクの性能に与える影響を評価すること。
• 小規模でドメインが一致しない言語的コーパスが、低リソース条件下でもNMTを向上させられるかどうかを特定すること。

提案手法

• 機械翻訳と補助NLPタスク（品詞タギング、固有表現認識）の両方で共有エンコーダ・デコーダアーキテクチャを用いたアテンションベースのシーケンス・ツー・シーケンスモデルを採用する。
• 翻訳用の並列単語データと、異なるドメイン（例：TEDトークス）の語彙的データ（品詞タグ、固有表現）を統合してトレーニングする。
• すべてのタスクの勾配を同時に逆伝播させるマルチタスクトレーニングスケジュールを採用し、損失重みを調整可能にしている。
• パラメータ共有の影響を評価するために、完全なパラメータ共有、エンコーダーのみ共有、個別エンコーダーの3つのモデルアーキテクチャを検討する。
• 文脈的および構造的文情報の抽出を目的に、ワードエムベディングと双方向RNNをエンコーダーに活用する。
• 翻訳用に共有デコーダーヘッドを、品詞タギングと固有表現予測用にタスク固有の出力ヘッドを別々に使用するビームサーチデコードを採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習を介して品詞タグと固有表現のアノテーションを統合することで、ニューラル機械翻訳性能が向上するか？
• RQ2 補助タスク（品詞タギング、固有表現認識）の選択が翻訳品質およびモデルの汎化性能に与える影響は何か？
• RQ3 マルチタスクNMTフレームワークにおいて、複数のタスクの性能をバランスさせる最適なトレーニングスケジュールは何か？
• RQ4 タスク間でのパラメータ共有の度合いが翻訳および補助タスクの性能に与える影響は何か？

主な発見

• マルチタスク学習により、ドイツ語→英語翻訳の性能が最大1.5 BLEUポイントおよび2 CharacTERポイント向上し、特に低リソース条件下で顕著な向上が見られた。
• 限定的でドメインが一致しない学習データでも、NMTと同時に学習させたことで品詞タガーの性能が相対的に30–50%向上した。
• トレーニングスケジュールが最終的な性能に最も大きな影響を与え、スケジュールドカリキュラム学習が最良の結果をもたらした。
• エンコーダーのみをタスク間で共有するモデルが翻訳および品詞タギングの両方で最高の性能を示し、エンコーダーでの共有表現学習が最も効果的であることを示した。
• 異なるドメイン（例：TEDトークス）から得た小規模で非並列な言語的コーパスであっても、品詞タグと固有表現の統合により翻訳品質に顕著な向上が得られた。
• 固有表現やレアワードの処理が改善され、欠落や誤った名前コピーといった翻訳エラーが減少した。