[論文レビュー] Adversarial Multi-task Learning for Text Classification

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|Apr 19, 2017

Topic Modeling参考文献 23被引用数 91

ひとこと要約

本論文は、敵対的な共有プライベートマルチタスク学習フレームワーク（ASP-MTL）を提案し、テキスト分類におけるタスク不変の共有特徴とタスク固有のプライベート特徴を分離するために敵対的学習と直交性制約を用い、16データセットにわたる強力な改善と新しいタスクへの転移性を示します。

ABSTRACT

Neural network models have shown their promising opportunities for multi-task learning, which focus on learning the shared layers to extract the common and task-invariant features. However, in most existing approaches, the extracted shared features are prone to be contaminated by task-specific features or the noise brought by other tasks. In this paper, we propose an adversarial multi-task learning framework, alleviating the shared and private latent feature spaces from interfering with each other. We conduct extensive experiments on 16 different text classification tasks, which demonstrates the benefits of our approach. Besides, we show that the shared knowledge learned by our proposed model can be regarded as off-the-shelf knowledge and easily transferred to new tasks. The datasets of all 16 tasks are publicly available at \url{http://nlp.fudan.edu.cn/data/}

研究の動機と目的

• テキスト分類のマルチタスク学習を動機づけ、共有特徴へタスク固有信号の混入を防ぐ。
• 敵対的学習と直交性制約を通じて、分離された、より純粋な共有特徴空間を強制する頑健なフレームワークを提案する。
• 16データセットを横断してベースラインより改善を示し、共有知識の新しいタスクへの転移可能性を示す。

提案手法

• 完全に共有されたアーキテクチャと各タスクごとにプライベートを持つLSTMベースのテキストエンコーダを採用し、タスク不変の共有特徴を強制する敵対的識別器を導入する。
• 二値の敵対的学習を多クラスへ拡張し、多くのタスクを共同訓練し、ラベルなしデータを活用する。
• 共有表現とプライベート表現間の重なりを最小化する直交性損失を導入：L_diff = sum_k || S^k^T H^k ||_F^2。
• 勾配反転レイヤーを用いた敵対的最適化で、損失をL = L_Task + lambda * L_Adv + gamma * L_Diffとして訓練する。
• 16データセット（製品レビューと映画）で評価し、単一タスクLSTMとマルチタスクベースライン（FS-MTL、SP-MTL、ASP-MTL）と比較する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習により、共有空間へのタスク固有特徴のリークを防いで、純粋な共有表現を得られるのか？
• RQ2 共有空間とプライベート空間間の直交性を強制することで、特徴の冗長性を減らし汎化を改善できるのか？
• RQ3 学習された共有表現は unseenタスクへのオフ・ザ・シェルフ知識として転用可能か？
• RQ4 ASP-MTLは広範なテキスト分類タスクセットで、ベースラインのマルチタスク手法と比べてどうか？
• RQ5 半教師あり学習を統合して、このフレームワーク内でラベルなしデータを活用できるか？

主な発見

• ASP-MTLは、ほとんどの16データセットで単一タスクのベースラインや他のマルチタスクモデルと比べて最も低い誤差率を達成した。
• 敵対的学習はSP-MTLに対して計測可能なマージンを提供し、SP-MTLより平均約4.1%の改善を示した。
• 直交性制約は共有空間とプライベート空間の重なりを減らし、タスク固有の予測と解釈性を向上させる。
• ASP-MTLから転移した共有抽出器は新しいターゲットタスクのパフォーマンスを改善でき、特にBi-Channel転送で効果的である。
• このフレームワークは、ラベルなしデータを用いたタスク対立損失を利用して、ドメイン不変の共有を促す半教師付き学習をサポートする。