[論文レビュー] Meta Multi-Task Learning for Sequence Modeling

Junkun Chen, Xipeng Qiu+2 more|arXiv (Cornell University)|Feb 25, 2018

Topic Modeling被引用数 26

ひとこと要約

本論文は、シーケンスモデリングのためのメタマルチタスク学習フレームワークを提案する。このフレームワークでは、共有メタネットワークを用いて、タスク固有の構成関数のパラメータを動的に生成することで、タスク間で関数レベルの知識共有を可能にする。文脈およびタスクに依存する構成関数を許容することで、テキスト分類およびシーケンスタグギングの性能が向上し、実験結果ではベースラインを常に上回り、新しいタスクへの転移性も優れている。

ABSTRACT

Semantic composition functions have been playing a pivotal role in neural representation learning of text sequences. In spite of their success, most existing models suffer from the underfitting problem: they use the same shared compositional function on all the positions in the sequence, thereby lacking expressive power due to incapacity to capture the richness of compositionality. Besides, the composition functions of different tasks are independent and learned from scratch. In this paper, we propose a new sharing scheme of composition function across multiple tasks. Specifically, we use a shared meta-network to capture the meta-knowledge of semantic composition and generate the parameters of the task-specific semantic composition models. We conduct extensive experiments on two types of tasks, text classification and sequence tagging, which demonstrate the benefits of our approach. Besides, we show that the shared meta-knowledge learned by our proposed model can be regarded as off-the-shelf knowledge and easily transferred to new tasks.

研究の動機と目的

• すべてのシーケンス位置で同一の共有構成関数を用いる従来のシーケンスモデルが抱えるアンダーフィッティング問題に対処すること。
• 意味的構成の共有メタ知識を学習することで、複数のNLPタスク間での知識共有を可能にすること。
• タスク固有および位置固有の構成関数を生成する関数レベルの共有メカニズムを設計し、表現力の向上を図ること。
• 学習済みメタネットワークを再利用可能な事前知識として扱うことで、新しいタスクにおける効率的な転移学習を可能にすること。
• 提案手法の有効性をテキスト分類およびシーケンスタグギングタスクの両方で示すこと。

提案手法

• 現在の文脈に基づいて、タスク固有の構成関数のパラメータを生成するメタネットワーク（Meta-LSTM）を訓練する。
• メタネットワークは、複数のタスクにわたる意味的構成のメタ知識を捉え、動的パラメータ生成を可能にする。
• 基本ネットワーク（LSTM）は、メタネットワークによって生成された文脈依存パラメータを使用するため、構成関数はタスク固有かつ位置固有のものとなる。
• バックプロパゲーションを用いてエンドツーエンドで訓練され、パラメータの複雑さを低減するための低ランク近似が適用されているが、表現力は保持されている。
• シーケンスタグギングタスクでは出力層として条件付きランダムフィールド（CRF）が使用される。
• 共有メタ知識が性能向上に寄与するため、単一タスクおよびマルチタスク学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 複数のNLPタスクにまたがる意味的構成のメタ知識を、共有メタネットワークが効果的に捉え、転送できるか？
• RQ2 メタネットワークがタスク固有の構成関数パラメータを生成する関数レベルの共有が、特徴レベルの共有（例：SSP-MTL や PSP-MTL）と比較してモデル性能を向上させるか？
• RQ3 学習済みメタネットワークを新しい未観測タスクにおける事前知識として使用できるか？
• RQ4 パラメータ効率性と精度の観点から、提案手法は従来のマルチタスク学習ベースラインと比較して優れているか？
• RQ5 文脈依存パラメータ生成が、シーケンス内の複雑な意味的構成を捉える能力をどの程度向上させるか？

主な発見

• Meta-LSTMモデルはCoNLL2000のチャンクングタスクで95.11%の精度を達成し、最良のベースライン（LSTM-SSP-MTL+CRF：94.32%）を上回った。
• CoNLL2003のNERタスクでは、Meta-LSTM-MTL+CRFモデルが90.72%のF1スコアを達成し、シングルタスクのMeta-LSTM（90.08%）および他のベースラインを上回った。
• WSJのPOSタグギングタスクでは、97.45%の精度に向上し、シングルタスクのMeta-LSTM（97.30%）および他のすべての比較モデルを上回った。
• 提案された関数レベルの共有メカニズムは、パラメータ数が少ないにもかかわらず、SSP-MTL や PSP-MTL といった特徴レベルの共有手法を顕著に上回った。
• 複数のタスクから学習したメタネットワークは、新しいタスクに直接事前知識として転送可能であり、強力な転移性と一般化性能を示した。
• モデルの性能向上は、テキスト分類およびシーケンスタグギングタスクの両方で一貫しており、そのロバストネスと広範な適用可能性が裏付けられた。