[論文レビュー] Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning

Sandeep Subramanian, Adam Trischler+2 more|arXiv (Cornell University)|Mar 30, 2018

Topic Modeling被引用数 127

ひとこと要約

本論文は、単一のリカレントエンコーダを複数の文レベルタスク（多言語NMT、構文解析、スキップ思考、自然言語推論）で共有するマルチタスク学習フレームワークを導入し、新しいタスクやデータが少ない settings にうまく転移する汎用の固定長文表示を生成する。

ABSTRACT

A lot of the recent success in natural language processing (NLP) has been\ndriven by distributed vector representations of words trained on large amounts\nof text in an unsupervised manner. These representations are typically used as\ngeneral purpose features for words across a range of NLP problems. However,\nextending this success to learning representations of sequences of words, such\nas sentences, remains an open problem. Recent work has explored unsupervised as\nwell as supervised learning techniques with different training objectives to\nlearn general purpose fixed-length sentence representations. In this work, we\npresent a simple, effective multi-task learning framework for sentence\nrepresentations that combines the inductive biases of diverse training\nobjectives in a single model. We train this model on several data sources with\nmultiple training objectives on over 100 million sentences. Extensive\nexperiments demonstrate that sharing a single recurrent sentence encoder across\nweakly related tasks leads to consistent improvements over previous methods. We\npresent substantial improvements in the context of transfer learning and\nlow-resource settings using our learned general-purpose representations.\n

研究の動機と目的

• 一般的な語彙表現を超えた汎用的な文表現の必要性を動機づける。
• 多様な文レベルの学習目標を組み合わせた、シンプルでスケーラブルなマルチタスクフレームワークを提案する。
• 弱く関連するタスク間での共有エンコーディングが転移性能と低リソース学習を向上させることを示す。

提案手法

• 共有の双方向GRUエンコーダとタスク固有のデコーダを持つワン・ツー・マニーのシーケンス対シーケンスモデルを使用する。
• 多様な目的で訓練する：スキップ思考ベクトル、多言語ニューラル機械翻訳（NMT）、構文解析、自然言語推論（NLI））。
• デコーダをアテンションを使わずエンコーダ表現 h_x の条件付けに基づいて固定長の文埋め込みを提供する。
• 訓練中にタスクを交互に進行（均等なタスクサンプリング；NLIミニバッチは時折挿入）し、Adamで最適化。
• 転移タスクでエンコーダのパラメータを更新せずに、単純な線形分類器を訓練して表現を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の文レベルタスクで訓練された単一の共有エンコーダは、タスク固有または単一目的モデルよりもより一般化可能な表現を学習するか。
• RQ2 複数タスクから得られる多様な帰納的バイアスは、特に低リソース設定で転移性能を改善するか。
• RQ3 構文、意味論、その他の文特性を捉えるうえで、どのタスクが最も寄与するか。
• RQ4 固定長表現は転移タスクにおける注目機構（attention）やタスク固有表現と比較してどうか。

主な発見

• マルチタスク訓練により学習された表現は、転移タスクに対する一般化能力が、従来の汎用的手法よりも高い。
• タスクを増やしエンコーダ容量を増やすと、感情分析、含意、言い換えタスクで一貫した転移利得を生む。
• マルチタスクモデルは低リソース転移性能を改善し、あるタスクでは約6%のラベル付きデータのみで競争力のある結果を達成。
• 構文解析と多言語NMTを組み込むと埋め込みの統語的・関連言語信号が強化される。
• モデルから学習した単語埋め込みは、ゼロから学習されるにもかかわらず、確立された埋め込み法と対等に競争力がある。
• プローブ分析は、構文エンコードに寄与するマルチタスク信号を示し、解析と多言語翻訳が含まれる場合には意味論エンコードを主にNLIが支援する、ということを示す。