[論文レビュー] Recurrent Neural Network for Text Classification with Multi-Task Learning

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|May 17, 2016

Topic Modeling参考文献 19被引用数 965

ひとこと要約

本論文は、関連するテキスト分類タスク間で情報を共有する3つのRNNベースのマルチタスクアーキテクチャを提案し、単一タスク学習より性能を向上させる。

ABSTRACT

Neural network based methods have obtained great progress on a variety of natural language processing tasks. However, in most previous works, the models are learned based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we use the multi-task learning framework to jointly learn across multiple related tasks. Based on recurrent neural network, we propose three different mechanisms of sharing information to model text with task-specific and shared layers. The entire network is trained jointly on all these tasks. Experiments on four benchmark text classification tasks show that our proposed models can improve the performance of a task with the help of other related tasks.

研究の動機と目的

• 限られたラベル付きデータで、関連タスクを活用したマルチタスク学習を通じてテキスト表現の学習を動機づける。
• タスク間の情報交換の度合いを可能にする3つの共有アーキテクチャを提案する。
• タスク間の共同訓練が単一タスクのベースラインを上回る性能向上を示す。
• 共有表現とタスク特有の成分とのトレードオフを検討する。
• 共有層とタスク固有層間の情報流れを制御するゲーティング機構に関する洞察を提供する。

提案手法

• 可変長のテキスト入力をモデル化するためにLSTMユニットを備えた再帰型ニューラルネットワーク（RNN）に基づく。
• マルチタスク共有のために、Model-I Uniform-Layer、Model-II Coupled-Layer、Model-III Shared-Layer の3つのアーキテクチャを提案する。
• 共有層とタスク固有層間の情報流れを選択的に制御するゲーティング機構を導入する。
• 結合損失でジョイントネットワークを訓練する：λパラメータで加重されたタスク損失の和（φ = sum_m lambda_m L_hat^ (m)）。
• 共有およびタスク固有の埋め込みをword2vec事前学習で初期化し、監督付き学習中にファインチューニングする。
• 四つのテキスト分類データセット（SST-1, SST-2, SUBJ, IMDB）を用いて評価し、単一タスクのLSTMや他のニューラルベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 共有および/または結合されたタスクアーキテクチャを用いたマルチタスク学習は、単一タスクのLSTMベースラインと比較してテキスト分類性能を向上させるか？
• RQ2 どの共有機構（Uniform、Coupled、またはゲーティング付きShared-layer）が多様なデータセットで最も良い性能を示すか？
• RQ3 共有層の教師なし事前学習とファインチューニングはマルチタスク性能にどう影響するか？
• RQ4 異なるデータスケール（文レベル vs. 文書レベル）に対するマルチタスク学習の影響はどうなるか？
• RQ5 提案モデルは標準ベンチマーク上で最先端のニューラルモデルとどう比較されるか？

主な発見

• 3つのマルチタスクモデルはすべて単一タスクLSTMベースラインを上回る。
• Uniform-layerアーキテクチャは平均0.8%の改善をもたらす（ファインチューニング前0.8%、ファインチューニング後2.0%）。
• Coupled-layerアーキテクチャはタスクペア間で改善を示し、平均利益は約1.4%（SST1-SST2ペアで最大2.3%）。
• Shared-layerアーキテクチャは平均約1.4%の利益を達成し、言語モデル事前学習 (+0.5%) とファインチューニング (+0.9%) が追加の利益をもたらす。
• 共有層を用いたマルチタスクモデル（Model-III）は、いくつかの最先端ニューラルモデルと競合する結果を達成し、Multi-TaskはSST-1で49.6%、SST-2で87.9%、SUBJで94.1%、IMDBで91.3%を記録した（表の比較）。
• 最も複雑なModel-IIIは、バニラLSTMの学習時間のおよそ2.5倍かかるが、収束はより速い。