[論文レビュー] Deep Automated Multi-task Learning

Davis Liang, Yan Shu|arXiv (Cornell University)|Sep 16, 2017

Topic Modeling参考文献 6被引用数 7

ひとこと要約

本稿では、入力データから導出される内在的タスク（次単語予測、次文字予測、欠損単語補完など）を二次的タスクとして用いることで、深層再帰的ネットワークにおける自動的マルチタスク学習（AutoMTL）を導入する。提案されたMRNNおよびCRNNアーキテクチャは、主なNLPタスクと自動タスクを同時に学習し、感情分析、トピック予測、ハッシュタグ推薦において、収束が速く、精度が向上する。特に、小規模で口語的なデータセットにおいて顕著な効果を示す。

ABSTRACT

Multi-task learning (MTL) has recently contributed to learning better representations in service of various NLP tasks. MTL aims at improving the performance of a primary task, by jointly training on a secondary task. This paper introduces automated tasks, which exploit the sequential nature of the input data, as secondary tasks in an MTL model. We explore next word prediction, next character prediction, and missing word completion as potential automated tasks. Our results show that training on a primary task in parallel with a secondary automated task improves both the convergence speed and accuracy for the primary task. We suggest two methods for augmenting an existing network with automated tasks and establish better performance in topic prediction, sentiment analysis, and hashtag recommendation. Finally, we show that the MTL models can perform well on datasets that are small and colloquial by nature.

研究の動機と目的

• 入力データから直接導出される自動タスクを導入することで、系列的NLPタスクにおけるマルチタスク学習の一般化を図ること。
• 自己教師あり補助タスクを通じて無ラベルの系列データを活用することで、NLPにおけるラベル付きデータの不足という課題に対処すること。
• 主なタスクと自動タスクを同時に学習させることで、主なタスクの収束速度と精度を向上させること。
• Twitterのような小規模でノイズが多く、口語的なデータセットにおいて、自動マルチタスク学習の有効性を評価すること。
• 階層的タスク関係（例：トピック予測と言語モデル）がマルチタスクフレームワークにおける性能向上に寄与することを示すこと。

提案手法

• 入力シーケンスから導出される3つの自動タスクを提案：次単語予測、次文字予測、欠損単語補完。
• 2つのMTLアーキテクチャを設計：MRNN（マルチタスクRNN）は共有エンコーダ層を有し、CRNN（段階的RNN）は自動タスクの表現を主なタスクの入力に連結する。
• 欠損単語を表すためにword2vec埋め込みを用い、そのベクトル表現を回帰により予測する。
• すべての実験で勾配クリッピング（ノルム1.0）とバッチサイズ128を適用し、学習の安定化を図る。
• MRNNでは主なタスクと自動タスクに共通のLSTMエンコーダを用い、CRNNでは自動タスクの出力を主なタスクの入力に連結する形で処理する。
• MTLモデルに対して学習率を動的に調整し、標準LSTMと比較して収束が速くなるようにする。

実験結果

リサーチクエスチョン

• RQ1 入力シーケンスから導出される自動タスクは、主なNLPタスクの性能向上と収束速度の向上に寄与するか？
• RQ2 次単語予測、次文字予測、欠損単語補完といった異なる自動タスクは、マルチタスク学習においてどの程度効果的か？
• RQ3 主なタスクと自動タスクの間に階層的関係（例：トピック予測と言語モデル）がある場合、並列学習と比較して性能が向上するか？
• RQ4 自動タスクを用いたMTLは、リソースが限られた口語的データセット（例：Twitter）にも一般化可能か？
• RQ5 自動マルチタスク学習は、NLP以外の系列タスクに対してもどの程度適用可能か？

主な発見

• MRNNはRotten Tomato感情分析データセットで81.2%の精度を達成し、標準LSTM（80.2%）と最先端の敵対的モデル（83.4%）を上回った（外部データで学習した場合）。
• CRNNはAG Newsトピック予測タスクで92.19%の精度を達成し、以前のSOTAモデル（92.05%）を0.14%上回った。
• Twitterハッシュタグ推薦タスクでは、MRNNが62.0%の精度を達成し、LSTMベースライン（57.8%）を4.2%上回り、収束も速かった。
• 両モデルとも、LSTMベースラインと比較して約半分のエポック数で収束した。MRNNは10エポック未満で50%の精度に到達した。
• 短いテキストデータセットでは、欠損単語補完が情報損失を引き起こすため、定量的評価から除外された。
• CRNNはAG NewsでMRNNを上回った。これは、トピック予測と言語モデルの間に明確な階層的関係があるためであり、MTL設計においてタスクの構造が重要であることを示唆している。