[論文レビュー] Multi-Task Learning for Sequence Tagging: An Empirical Study

Soravit Changpinyo, Hexiang Hu+1 more|arXiv (Cornell University)|Aug 13, 2018

Natural Language Processing Techniques参考文献 60被引用数 57

ひとこと要約

本論文は11の系列タグ付けタスクに対して3つのMTLアプローチを実証的に比較し、All MTLまたはOracle MTLが STLをおよそ半数のケースで上回ること、タスク間の関係性とタスクを意味的にクラスタリングする埋め込みを明らかにする。

ABSTRACT

We study three general multi-task learning (MTL) approaches on 11 sequence tagging tasks. Our extensive empirical results show that in about 50% of the cases, jointly learning all 11 tasks improves upon either independent or pairwise learning of the tasks. We also show that pairwise MTL can inform us what tasks can benefit others or what tasks can be benefited if they are learned jointly. In particular, we identify tasks that can always benefit others as well as tasks that can always be harmed by others. Interestingly, one of our MTL approaches yields embeddings of the tasks that reveal the natural clustering of semantic and syntactic tasks. Our inquiries have opened the doors to further utilization of MTL in NLP.

研究の動機と目的

• 多数の系列タグ付けタスクを同時学習することが、ペアワイズ学習や独立学習を超える効果をもたらすかを調査する。
• MTLにおけるタスク間の関係性を特徴づけ、どのタスクが他のタスクを助けるまたは害するかを特定する。
• 異なるMTLアーキテクチャが共有とパフォーマンスにどのように影響するか、さまざまなタグセットで検討する。
• 有益なタスクのOracleセットがAll MTLおよびSTLより性能を改善できるか評価する。

提案手法

• 三つのMTLフレームワークを説明・実装する：Multi-Dec（共有エンコーダ、複数デコーダ）、TE ⊕ Dec（タスク埋め込みをデコーダへ供給する共有エンコーダ・デコーダ）、TE ⊕ Enc（エンコーダへの入力の前にタスク埋め込みを追加）。
• 11の系列タグ付けタスクに対して biRNNs（GRUユニット）とCRF分類器に基づく共通エンコーダ/デコーダ設定を使用。
• タスク間でバランスのとれたミニバッチ戦略で学習し、 spanベースのマイクロF1で評価；STL、Pairwise MTL、All MTL、Oracle MTL、All-〈one-を除くMTL設定を比較。
• STLを超える、またはAll MTLを上回るようなペアワイズ結果からOracleセットを構成し、OracleとAll MTLを比較分析。
• タスク間の利益/ Harmグラフやタスク寄与表を含む広範なクロス-タスク分析を提供。
• 実験設定はUD v1.4、CoNLL-2000/2003、Streusle、SemCorなどのデータセットを使用し、ラベル空間とエントロピーは論文に記載。

実験結果

リサーチクエスチョン

• RQ1 2つを超えるタスクを jointly 学習することは、STLや単純なペアワイズMTLと比較して系列タグ付けのパフォーマンスを向上させるか？
• RQ2 タスク間のペアワイズな有益または有害な関係は何か、すべてのタスクを同時に学習するときにこれらの関係はどのようにスケールするか？
• RQ3 Oracleベースの有益タスク選択は、All MTLを一貫して上回るのか、どの条件下でそうなるのか？
• RQ4 タスクの埋め込みは意味的・統語的タスクの自然なクラスタリングを明らかにするような埋め込みを生み出すか？

主な発見

upos	xpos	chunk	ner	mwe	sem	semtr	supsense	com	frame	hyp	# ↑	# ↓
95.4	95.01	94.18 ↑	87.68	59.99 ↑	73.23 ↑	74.93 ↑	68.25 ↑	72.46	62.14	48.02	6	0
95.38	95.04	93.97 ↑	87.61 ↓	58.87 ↑	73.34 ↑	74.91 ↑	67.78 ↑	72.83	60.77	48.81 ↑	6	1
95.43	95.1	93.49	87.96	59.18 ↑	73.16 ↑	74.79 ↑	67.39 ↑	72.44	62.67	47.85 ↑	5	0
95.38	95.09	93.47 ↑	88.24	55.4 ↑	72.88	74.34 ↑	68.06 ↑	70.93	62.39	47.9	3	0
95.15	94.70	93.54	88.15	53.07	72.75	74.51 ↑	66.88	71.31	61.75	47.32	1	2
95.23	94.77 ↓	93.63 ↑	87.35 ↓	60.16 ↑	72.77	74.73 ↑	68.29 ↑	72.72	61.74	48.15 ↑	5	2
@ 95.17	94.86 ↓	93.61	87.34 ↓	58.84 ↑	72.5 ↓	74.02	68.60 ↑	71.96	62.03	47.74	2	3
95.08	94.75	93.20	87.90	58.81 ↑	72.81	74.61 ↑	66.81	72.24	61.96	47.29	2	4
93.04	93.19	91.94 ↓	86.62 ↓	53.89	70.39 ↓	72.60	65.57 ↓	72.71	56.52	45.24	0	0
94.98	94.64	93.22 ↓	88.15	53.88	72.76	74.18	66.59	72.47	62.04	46.0	0	3
94.84	94.46	92.96 ↓	87.98	53.08	72.47 ↓	74.23	66.47	71.82	61.02	46.73	0	4

• 約50%のケースで、All MTLまたはOracle MTLがSTLまたはペアワイズ学習を上回る。
• ペアワイズMTLは明確な有益/有害な関係を示し、いくつかのタスク（例：mwe、sup Sense、semtr、hyp）は他のタスクに有益である一方、他のタスク（例：com、frame、hyp）は有害となる傾向がある。
• All MTLはしばしばPairwise MTlに匹敵または上回り、多くの場合Oracle MTLによって上回られる。Oracleは有益なタスクを活用する。
• TEベースのモデルで使用されるタスク埋め込みは、統語的タスクと意味的タスクをクラスタリングする埋め込みを生み出し、意味のあるタスク表現を示唆する。
• いくつかのタスク（特にcom）で、All MTLがSTLを上回るケースがあり、単一のペアワイズタスクがSTLを改善しなくても、タスク全体で有益な正規化効果があることを示す。
• ペアワイズMTLのAll MTLに対する予測力は存在するが完全ではなく、方向は一般に信頼できるが、大きさは予測が難しい。