[論文レビュー] Deep Multi-Task Learning with Shared Memory

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|Sep 23, 2016

Topic Modeling参考文献 32被引用数 34

ひとこと要約

本稿では、関連するテキスト分類タスク間で外部メモリを共有することにより、性能を向上させる2つのディープマルチタスク学習アーキテクチャを提案する。タスク固有のLSTM出力と共有メモリ表現を、選択的に結合するためのファージョンゲートを統合することで、特にリソースが限られたタスクにおいて一般化性能が向上し、感情分析およびテキスト分類ベンチマークで顕著な精度向上が達成される。

ABSTRACT

Neural network based models have achieved impressive results on various specific tasks. However, in previous works, most models are learned separately based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we propose two deep architectures which can be trained jointly on multiple related tasks. More specifically, we augment neural model with an external memory, which is shared by several tasks. Experiments on two groups of text classification tasks show that our proposed architectures can improve the performance of a task with the help of other related tasks.

研究の動機と目的

• ニューラルネットワークモデルにおけるNLPタスクの訓練データ不足の課題に対処すること。
• 複数の関連するテキスト分類タスクを同時に学習することで、モデルの一般化性能を向上させること。
• 外部的で共有されるメモリメカニズムを通じて、タスク間での知識移転を可能にすること。
• タスク固有の表現と共有表現を混同しない柔軟で緩い結合のマルチタスクフレームワークを設計すること。
• ファージョンゲートの分析を通じて、共有メモリが特定のタスク予測にどのように影響を与えるかを解釈可能にする。

提案手法

• 複数のタスクにわたる長期的知識を格納するため、タスク固有のLSTMに外部的で共有されるメモリを追加する。
• 学習可能なファージョンゲートが共有メモリからタスク固有のLSTM隠れ状態への情報フローを制御する、ディープなファージョン機構を導入する。
• タスク入力に基づいて共有メモリにアクセスおよび更新できる微分可能読み取り・書き込みメカニズムを用いる。
• すべてのタスクにわたる統合マルチタスク目的関数を用いて、全体のアーキテクチャをエンドツーエンドで訓練する。
• 系列モデリングを向上させ、注意メカニズムのダイナミクスをより明確に可視化するために、双方向LSTMを適用する。
• ファージョンゲートがメモリ寄与度を学習し、共有知識の選択的かつ適応的な利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られる状況下で、共有外部メモリがマルチタスクテキスト分類の性能向上に寄与するか。
• RQ2 ファージョンゲートメカニズムは、共有メモリ情報のタスク固有表現への統合をどのように制御するか。
• RQ3 関連するタスクからの知識が、リソースが限られたタスクの性能向上にどの程度寄与するか。
• RQ4 モデルは入力コンテンツおよびタスクコンテキストに応じて、共有メモリを効果的に選択的に利用できるか。
• RQ5 共有メモリメカニズムは、モデルの解釈可能性を向上させ、暗黙の言語的パターンの理解をどのように促進するか。

主な発見

• 提案されたモデルは、単一タスクおよび標準的なマルチタスクベースラインと比較して、感情分類およびテキスト分類タスクの両方で顕著な性能向上を達成する。
• SST-2データセットでは、ARC-IモデルがネイティブLSTMおよび標準的なマルチタスクモデルを上回り、リソースが限られた例においてより優れた一般化性能を示す。
• 事例研究では、ファージョンゲートが『cookie-cutter』や『cut-and-paste』のような情報量の多い語で強く活性化していることが示され、感情予測における共有メモリの有効な利用が裏付けられる。
• 標準的なLSTMが捉えられない複雑な文における暗黙の感情、たとえば『If you were not nearly moved...』の感情を正しく特定する。
• ファージョンゲート活性度の可視化から、共有メモリがモデルが文構造の文法的パターンや暗黙の否定を学習するのを助け、文の構造に対する推論能力を向上させていることが明らかになる。
• ファージョンゲートメカニズムにより、予測過程で共有知識がいつ、どのようにアクセスされているかの解釈可能性が得られる。