[論文レビュー] A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks

Kazuma Hashimoto, Caiming Xiong+2 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling参考文献 40被引用数 52

ひとこと要約

本稿では、構文的階層を介して短絡接続により下位層から上位層へと情報を伝えることで、1つの深層ニューラルネットワークが複数の自然言語処理（NLP）タスク—品詞タグ付け、句切り分け、依存解析、意味的類似性、テキスト的含意—を同時に学習できる共同多タスク（JMT）モデルを提案する。モデルは適応的正則化と段階的な深さ増加を用いて、深刻な干渉を防ぎ、全5タスクで最先端または競争力のある結果を達成する。

ABSTRACT

Transfer and multi-task learning have traditionally focused on either a single source-target pair or very few, similar tasks. Ideally, the linguistic levels of morphology, syntax and semantics would benefit each other by being trained in a single model. We introduce a joint many-task model together with a strategy for successively growing its depth to solve increasingly complex tasks. Higher layers include shortcut connections to lower-level task predictions to reflect linguistic hierarchies. We use a simple regularization term to allow for optimizing all model weights to improve one task's loss without exhibiting catastrophic interference of the other tasks. Our single end-to-end model obtains state-of-the-art or competitive results on five different tasks from tagging, parsing, relatedness, and entailment tasks.

研究の動機と目的

• 従来のマルチタスク学習が主に少数または類似したタスクに焦点を当てているのを改善し、1つのモデルが複数の多様なNLPタスクを共同で学習できるようにすること。
• 複数のNLPタスクの共同学習中に発生する深刻な干渉を克服するため、1つのタスクの損失最適化が他のタスクのパフォーマンスを低下させない正則化戦略を導入すること。
• 下位タスク（例：品詞タグ付け）が上位タスク（例：依存解析、含意）に影響を与える言語的階層を活用するため、タスクを段階的に深くする層構造をモデルに組み込むこと。
• 同じ層でタスクを学習するのではなく、異なる深さにタスクを配置することで、階層的な言語的依存関係を捉え、パフォーマンスが向上することを示すこと。

提案手法

• モデルは、複雑さが増す順に段階的に深くなる層を備えた深層双方向LSTMアーキテクチャを採用し、タスクを順に配置：品詞タグ付け（層1）、句切り分け（層2）、依存解析（層3）、意味的類似性（層4）、テキスト的含意（層5）。
• 各単語は、事前学習済み語ベクトルと文字n-gramベクトルの連結表現で表され、文字n-gramはSkip-gramで学習され、平均化して単語レベルの表現を形成する。
• 下位タスクの予測（例：品詞タグ）は重み付きラベル埋め込みとしてエンコードされ、上位層に補助入力として入力され、言語的階層を維持し、一般化性能を向上させる。
• 下位層の隠れ状態および予測から上位層へのショートカット接続を用い、低レベルの言語的特徴を保持・伝達する。
• 訓練中に、1つのタスクの損失最適化が他のタスクのパフォーマンスを低下させないよう正則化項を適用し、深刻な干渉を緩和する。
• タスクの言語的複雑さに従い固定順序で訓練するカリキュラム学習戦略を用い、エンドツーエンドでモデルを訓練し、全タスクに均等に学習率を適用する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、深刻な干渉を避けて、多様なNLPタスクを同時に学習できるか？
• RQ2 下位タスクの予測が上位タスクに影響を与える深さ増加型の階層構造を採用することで、同じ層にタスクを配置する場合と比較してパフォーマンスが向上するか？
• RQ3 下位タスクの予測から得られる重み付きラベル埋め込みが、上位タスクのパフォーマンス向上にどの程度寄与するか？
• RQ4 段階的な深さ増加と正則化を用いることで、データサイズや複雑さが異なるタスク間での多タスク一般化性能がどの程度向上するか？
• RQ5 訓練データ量が著しく異なるタスク（例：依存解析は39k文、含意は4.5k文ペア）を共同で学習しても、全タスクで強力なパフォーマンスが得られるか？

主な発見

• JMTモデルは、句切り分け（95.65% F1）と依存解析（94.12% UAS）で最先端のパフォーマンスを達成し、意味的類似性とテキスト的含意でも競争力のある結果を示した。
• 品詞タグ付けの正確度は97.52%であったが、文字n-gram埋め込みが事前学習されていない場合、97.38%に低下し、語彙的特徴の重要性を示した。
• 訓練時にタスクの順序をランダム化すると、意味的タスクのパフォーマンスが著しく低下し、固定された階層的順序がモデル効果にとって不可欠であることを確認した。
• JMTと同等の深さを持つ単一タスク用のマルチレイヤー双方向LSTMを用いても、ジョイントモデルに劣り、ジョイント学習が単なるモデル深さの増加よりも効果的であることを示した。
• 語と文字n-gram埋め込みを併用することで、全タスクでパフォーマンスが向上し、特に品詞タグ付けと句切り分けタスクで最大の向上が得られた。
• 関連性タスクを事前に学習させることで、意味的タスク（関連性と含意）のパフォーマンスが向上した。これは、共有される意味的表現の仮説を支持するものである。