[論文レビュー] Multi-task Learning for Universal Sentence Embeddings: A Thorough Evaluation using Transfer and Auxiliary Tasks

Wasi Uddin Ahmad, Xueying Bai+4 more|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 42被引用数 7

ひとこと要約

本論文は、SNLI、Multi-NLI、Quoraの二重質問検出の3つの多様なテキスト分類タスクを同時に最適化することで、普遍的文埋め込みを学習するマルチタスク学習フレームワークを提案している。これにより、15の下流タスクにおける転移性能が顕著に向上した。この手法は、ELMo や CoVe などのコンテキストに依存する単語表現と組み合わせることで、単一タスク学習や最先端のベースラインを上回った。

ABSTRACT

Learning distributed sentence representations is one of the key challenges in natural language processing. Previous work demonstrated that a recurrent neural network (RNNs) based sentence encoder trained on a large collection of annotated natural language inference data, is efficient in the transfer learning to facilitate other related tasks. In this paper, we show that joint learning of multiple tasks results in better generalizable sentence representations by conducting extensive experiments and analysis comparing the multi-task and single-task learned sentence encoders. The quantitative analysis using auxiliary tasks show that multi-task learning helps to embed better semantic information in the sentence representations compared to single-task learning. In addition, we compare multi-task sentence encoders with contextualized word representations and show that combining both of them can further boost the performance of transfer learning.

研究の動機と目的

• マルチタスク学習が単一タスク学習と比較して、普遍的文埋め込みの一般化性能を向上させるかどうかを調査すること。
• マルチタスク文埋め込みをELMo や CoVe などのコンテキストに依存する単語表現と組み合わせることで、転移学習性能がさらに向上するかどうかを評価すること。
• 補助タスクを用いて、マルチタスク学習で得られた文表現が捉えている文法的および意味的言語情報（構文的・意味的）を分析すること。
• マルチタスク学習による性能向上が、訓練データ量の増加によるものか、それとも共同最適化のインダクティブバイアスによるものかを特定すること。
• 訓練データにおける多様なドメインが、学習された文表現の質に与える影響を評価すること。

提案手法

• SNLI（自然言語推論）、Multi-NLI（マルチジェンルNLI）、Quora（二重質問検出）の3つの大規模なテキスト分類データセットを用いて、共有の文エンコーダーを学習する。
• 完全共有（FS）と共有プライベート（SP）の2つのマルチタスク学習フレームワークを実装し、文エンコーダーはタスク間で共有するが、タスク固有のヘッドは別々に学習する。
• SPモデルの共有エンコーダーを用いて、15の下流タスクおよび6つの補助言語的タスクを評価する。
• マルチタスク文埋め込みとコンテキストに依存する単語表現（ELMo、CoVe）を組み合わせ、ハイブリッド符号化アプローチを構築する。
• SNLI および Quora データから等サイズのサブセットをサンプリングすることで、マルチタスク学習の効果をデータ量の影響から分離するためのアブレーションスタディを実施する。
• 転移タスクおよび補助タスクの性能を評価し、構文的および意味的表現品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様なNLPタスクにおけるマルチタスク学習が、単一タスク学習と比較して文埋め込みの一般化性能を向上させるか？
• RQ2 転移学習の向上は、訓練データ量の増加によるものか、それとも共同最適化のインダクティブバイアスによるものか、その程度は？
• RQ3 マルチタスク学習で得られた文埋め込みは、単一タスク学習やコンテキストに依存する単語表現と比較して、構文的および意味的言語情報の捉え具合がどの程度良好か？
• RQ4 マルチタスク文埋め込みとコンテキストに依存する単語ベクトル（例：ELMo、CoVe）を組み合わせることで、転移タスクで最先端の性能を達成できるか？
• RQ5 Multi-NLI のようなマルチドメインデータセットで学習することで、単一ドメインデータセットで学習する場合と比較して、より頑健な文表現が得られるか？

主な発見

• マルチタスク学習は10の転移タスクのうち7つで単一タスク学習を上回り、残りの3つでも同等の結果を示しており、一般化性能の向上が確認された。
• マルチタスク文埋め込みとELMo、CoVe を組み合わせたアプローチは、10の転移タスクのうち5つで新たな最先端性能を達成した。
• 補助タスクにおいてもマルチタスク埋め込みは競争力のある性能を示し、特に語義の解釈の明確化（word sense disambiguation）において、意味的情報の効果的な捉え具合が示された。
• Multi-NLI のみで学習したエンコーダーが、他のタスク固有および共有エンコーダーを上回り、補助タスクで優れた性能を示した。これは、ドメインの多様性が表現品質を向上させる要因であることを示唆している。
• アブレーション実験の結果、同じ合計データサイズで単一タスク学習と比較して、マルチタスク学習は平均0.69%の性能向上を示した。これは、データ量の増加を超えた向上が確認されたことを裏付けた。
• ソースとターゲットのタスクが類似している（例：STS-16）ような状況でも、マルチタスク学習は単一タスク学習を上回った。これは、低データ転送状況でも頑健であることを示している。