[論文レビュー] Same Representation, Different Attentions: Shareable Sentence Representation Learning from Multiple Tasks

Renjie Zheng, Junkun Chen+1 more|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 18被引用数 7

ひとこと要約

本稿では、すべてのタスクが1つの汎用的文表現を共有し、タスク固有のアテンション機構を用いて関連する特徴を動的に選択するマルチタスク学習フレームワークを提案する。16のテキスト分類タスクにおける実験では、このアプローチが性能を向上させ、収束を早め、特に補助タスク（品詞タグ付けや句抽出）を含めることで転送性が向上することを示している。

ABSTRACT

Distributed representation plays an important role in deep learning based natural language processing. However, the representation of a sentence often varies in different tasks, which is usually learned from scratch and suffers from the limited amounts of training data. In this paper, we claim that a good sentence representation should be invariant and can benefit the various subsequent tasks. To achieve this purpose, we propose a new scheme of information sharing for multi-task learning. More specifically, all tasks share the same sentence representation and each task can select the task-specific information from the shared sentence representation with attention mechanism. The query vector of each task's attention could be either static parameters or generated dynamically. We conduct extensive experiments on 16 different text classification tasks, which demonstrate the benefits of our architecture.

研究の動機と目的

• 複数のNLPタスクに適した汎用的で転送可能な文表現の欠如を解決すること。
• 大量のラベル付きデータを必要とする、タスク固有の表現を再学習から訓練する手法の限界を克服すること。
• タスク間で1つの文表現を共有しつつ、タスク固有の特徴選択を可能にすることで、モデルの効率性と性能を向上させること。
• 補助的な系列ラベル付けタスク（例：品詞タグ付け、句抽出）をマルチタスク学習フレームワークに組み込むことで、転送性と一般化性能を向上させること。

提案手法

• すべてのタスクが、共有エンコーダー（例：BiLSTM）を介して学習された1つの共有文表現を共有し、タスク固有の表現レイヤーを排除する。
• 各タスクは、学習可能または動的に生成されたクエリベクトルを用いて、アテンション機構により共有表現内のタスク関連部分に注目する。
• アテンション機構は共有隠れ状態の重み付き和を計算し、同じ文の異なる意味的側面に各タスクが焦点を当てるのを可能にする。
• 品詞タグ付けや句抽出などの補助タスクを、主な分類タスクと同時に訓練し、同じ文符号化レイヤーを共有する。
• 分類および系列ラベル付けの両方のタスクに対して交差エントロピー損失を用い、タスク間でパラメータを共有しながら、エンドツーエンドでモデルを訓練する。
• アーキテクチャはアテンション分布の可視化を可能にし、各タスクでどの語やフレーズが強調されているかを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 1つの共有文表現を複数のNLPタスクに効果的に適用しつつ、タスク固有のニュアンスを捉えることは可能か？
• RQ2 共有表現からのアテンションベースの特徴選択は、従来のプライベート共有アーキテクチャと比較して、マルチタスク学習においてどのように異なるか？
• RQ3 補助的な系列ラベル付けタスクが、下流の分類タスクにおける共有文表現の質をどの程度向上させられるか？
• RQ4 提案手法は、既存のマルチタスク学習ベースラインと比較して、より速い収束とより優れた一般化性能を達成するか？

主な発見

• 提案されたSA-MTLモデルは、16のセンチメント分類タスクで最先端の性能を達成し、SSP-MTLおよびPSP-MTLのベースラインを上回った。
• 句抽出や品詞タグ付けなどの補助タスクを組み込むことで顕著な性能向上が得られ、DA-MTLはCoNLL-2000データセットで平均89.04%の精度を達成した。
• 共有表現とアテンションベースの選択により、既存のマルチタスク学習アーキテクチャと比較して収束が早く、パラメータ効率も優れている。
• 可視化の結果、センチメントタスクでは「easy to use」のようなセンチメント関連フレーズを正しく特定しており、ドメイン分類タスクでは「infantile cart」のようなドメイン関連語句も正しく強調していることが確認された。
• 句抽出などの補助タスクを含めて訓練したモデルは、より頑健な性能を示し、前置詞句と動詞句を正しく区別でき、曖昧なケースでも正しいセンチメント予測が可能になった。