[論文レビュー] Multi-task Sequence to Sequence Learning

Minh-Thang Luong, Quoc V. Le+3 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques被引用数 66

ひとこと要約

本稿では、複数の関連するタスクを同時に学習することで、機械翻訳、構文解析、画像キャプション生成の性能を向上させるマルチタスク系列対系列学習フレームワークを提案する。共有エンコーダーとデコーダーを用いることで、翻訳では最大1.5 BLEUポイントの向上、解析では93.0 F1スコアという新たな最先端水準を達成した。一方で、自己符号化器とスキップスコップ目標関数のマルチタスク設定における異なる挙動が明らかになった。

ABSTRACT

Sequence to sequence learning has recently emerged as a new paradigm in supervised learning. To date, most of its applications focused on only one task and not much work explored this framework for multiple tasks. This paper examines three multi-task learning (MTL) settings for sequence to sequence models: (a) the oneto-many setting - where the encoder is shared between several tasks such as machine translation and syntactic parsing, (b) the many-to-one setting - useful when only the decoder can be shared, as in the case of translation and image caption generation, and (c) the many-to-many setting - where multiple encoders and decoders are shared, which is the case with unsupervised objectives and translation. Our results show that training on a small amount of parsing and image caption data can improve the translation quality between English and German by up to 1.5 BLEU points over strong single-task baselines on the WMT benchmarks. Furthermore, we have established a new state-of-the-art result in constituent parsing with 93.0 F1. Lastly, we reveal interesting properties of the two unsupervised learning objectives, autoencoder and skip-thought, in the MTL context: autoencoder helps less in terms of perplexities but more on BLEU scores compared to skip-thought.

研究の動機と目的

• 翻訳、構文解析、画像キャプション生成といった多様な自然言語処理タスクにおける系列対系列モデルにおけるマルチタスク学習（MTL）の検討。
• 小規模な補助タスク（例：構文解析、画像キャプション生成）が、大規模な系列対系列タスク（例：機械翻訳）の性能向上に寄与するかの調査。
• 自己教師あり目的関数（自己符号化器とスキップスコップベクトル）が、教師あり系列対系列学習の性能向上に寄与するかの評価。
• 自己符号化器とスキップスコップ目標関数のマルチタスク設定における挙動の相違を、内在的（パープレキシティ）と外在的（BLEU）指標の観点から理解すること。
• アンサンブルによるマルチタスクモデルを用いて、構文解析分野における新たな最先端の結果を確立すること。

提案手法

• 3つのMTL設定を提案：1対多（タスク間でエンコーダーを共有）、多対1（デコーダーを共有）、多対多（複数のタスクでエンコーダーとデコーダーを共有）。
• すべてのタスクに注意機構を備えた系列対系列モデルを採用し、LSTMをRNNユニットとして使用。
• 補助タスクを、例えば翻訳＋構文解析、または翻訳＋自己符号化／スキップスコップの重み付き損失の組み合わせで学習することで統合。
• 翻訳（主タスク）と補助タスク（構文解析、自己符号化、スキップスコップ）の損失をバランスさせるために、混合係数（例：0.05、0.1）を用いる。
• 異なる混合比で学習された複数のマルチタスクモデルをアンサンブルすることで、構文解析の汎化性能と性能を向上。
• 標準指標を用いてモデルを評価：翻訳にはBLEU、構文解析にはF1、自己教師あり目的関数にはパープレキシティを用いる。

実験結果

リサーチクエスチョン

• RQ1 データサイズの差が大きいにもかかわらず、構文解析や画像キャプション生成のデータで学習することで、ニューラル機械翻訳の性能が向上するか？
• RQ2 1対多、多対1、多対多といった異なるマルチタスク学習設定が、系列対系列モデルの性能に与える影響は何か？
• RQ3 自己教師あり目的関数（自己符号化器やスキップスコップベクトル）を、教師ありタスクと併用して学習することで、翻訳品質が向上するか？
• RQ4 なぜ自己符号化器とスキップスコップ目標関数は、マルチタスク学習においてパープレキシティとBLEUスコアの観点で異なる挙動を示すのか？
• RQ5 小規模な補助データセットを用いたマルチタスク学習により、構文解析分野で最先端の結果が達成可能か？

主な発見

• 少量の構文解析データと画像キャプションデータで学習した結果、WMTベンチマークにおいて強力な単一タスクベースラインを上回り、英語＝ドイツ語翻訳で最大1.5 BLEUポイントの向上を達成した。
• 6つのマルチタスクモデルをアンサンブルすることで、英語の構文解析で93.0というF1スコアという新たな最先端水準を達成し、従来の単一タスクシステムを上回った。
• 自己符号化器はBLEUスコアの向上にスキップスコップよりも寄与したが、パープレキシティは悪化させた。これは、内在的性能と外在的性能のトレードオフを示している。
• スキップスコップベクトルは、より多くの学習データでパープレキシティを一貫して改善したが、混合比が高くなるとBLEUスコアが低下した。これは、翻訳タスクの目的関数と相性が悪い可能性を示唆している。
• 自己符号化器を用いた多対多MTL設定では、混合比が0.05のとき0.5 BLEUポイントの向上を達成したが、混合比が高くなると性能が低下した。
• 結果から、自己教師あり目的関数は主タスクと整合性を持つべきであることが示唆された。自己符号化器は単語間の翻訳に類似しているため相性が良いが、スキップスコップはそうではない。