[論文レビュー] Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning

Sandeep Subramanian, Adam Trischler+2 more|PolyPublie (École Polytechnique de Montréal)|Mar 30, 2018

Topic Modeling参考文献 45被引用数 101

ひとこと要約

論文は、多様な文レベルのタスク（NMT、構文解析、スキップ思考、NLI）を横断して単一のエンコーダを共有する大規模マルチタスク学習フレームワークを提示し、転移に有用な汎用的な固定長文表現を生成し、低資源設定でも高い性能を発揮する。

ABSTRACT

A lot of the recent success in natural language processing (NLP) has been driven by distributed vector representations of words trained on large amounts of text in an unsupervised manner. These representations are typically used as general purpose features for words across a range of NLP problems. However, extending this success to learning representations of sequences of words, such as sentences, remains an open problem. Recent work has explored unsupervised as well as supervised learning techniques with different training objectives to learn general purpose fixed-length sentence representations. In this work, we present a simple, effective multi-task learning framework for sentence representations that combines the inductive biases of diverse training objectives in a single model. We train this model on several data sources with multiple training objectives on over 100 million sentences. Extensive experiments demonstrate that sharing a single recurrent sentence encoder across weakly related tasks leads to consistent improvements over previous methods. We present substantial improvements in the context of transfer learning and low-resource settings using our learned general-purpose representations.

研究の動機と目的

• 汎用的な固定長文表現の動機づけと構築。
• 多様な学習目的を組み合わせて頑健な文表現を誘導する。
• 新規タスクおよび低資源設定での転移学習の改善を実証する。

提案手法

• 複数のシーケンス対シーケンスおよび分類タスクで共有される単一の双方向GRUエンコーダを使用する。
• En-Fr、En-De、skip-thoughts、構文解析、NLI からの124M文ペアを用いたワン・トゥ・マニーのマルチタスク設定で訓練する。
• アテンションなしでエンコーダ表現を条件付けして固定長の文ベクトルを得る。
• 多言語NMT、構成素解析、skip-thoughts、および自然言語推論を含む複数の目的を組み込む。
• NLIミニバッチを時折混在させた、単純な均一なタスク切替スキームで訓練する。

実験結果

リサーチクエスチョン

• RQ1 弱く関連するタスク間で単一のエンコーダを共有することは、汎用的な文表現を改善するか。
• RQ2 多様なタスクは表現における異なる言語的特性（統語、内容、長さ）のエンコードにどう寄与するか。
• RQ3 学習された表現は未知のタスクへ転移し、低資源データ条件で良好に機能するか。
• RQ4 標準ベンチマークで確立された埋め込みと比べて、学習した単語埋め込みはどうか。

主な発見

モデル	MR	CR	SUBJ	MPQA	SST	TREC	MRPC	SICK-R	SICK-E	STSB	Δ
Our Models +STN +Fr +De +NLI +L	81.7	87.3	94.2	90.8	84.0	94.2	77.1/83.0	0.887	87.1	78.7/78.2	1.33
Our Models +STN +Fr +De +NLI +L +STP	82.7	88.0	94.1	91.2	84.5	92.4	77.8/83.9	0.885	86.8	78.7/78.4	1.44
Our Models +STN +Fr +De +NLI +L +STP +Par	82.5	87.7	94.0	90.9	83.2	93.0	78.6/84.4	0.888	87.8	78.9/78.6	1.48
+STN +Fr +De +NLI +L	81.2	86.4	93.4	90.8	84.0	93.2	76.6/82.7	0.884	87.0	79.2/79.1	0.99
+STN +Fr +De +NLI +2L +STP	82.8	88.3	94.0	91.3	83.6	92.6	77.4/83.3	0.884	87.6	79.2/79.1	1.47
+STN +Fr +De +NLI +L +STP +Par	82.4?	87.7?	94.0?	90.9?	83.2?	93.0?	78.9/78.6?	0.888?	87.8?	78.9/78.6?	1.48

• 多様な目的を含むマルチタスク訓練は、既存の固定表現より転移性能を向上させる。
• 容量拡大（隠れ層ユニット増加）と追加の層は、いくつかのタスクで転移利得をさらに高める。
• 私たちの表現は Infersent に対して感情分析タスクで1.1–2.0% の利得を、TREC および MRPC の転移タスクで顕著な利得を達成する。
• 構文解析と多言語NMTを含めると統語的および含意転移信号が向上し、NLI のみは構文をエンコードするが追加タスクの恩恵は小さい。
• 低資源設定では、我々の表現に基づく線形分類器が、より多くのデータで訓練された一部のタスク特化モデルを上回ることがある。例：Quora でラベル付きデータがわずか6%の場合。
• 本フレームワークで学習した単語埋め込みは、標準ベンチマークで人気の事前学習埋め込みと競合する。