[論文レビュー] When is multitask learning effective? Semantic sequence prediction under varying data conditions

Hėctor Martínez Alonso, Barbara Plank|arXiv (Cornell University)|Dec 7, 2016

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿は、5つの意味的タスクにおけるラベル分布の特性を評価することで、意味的シーケンス予測におけるマルチタスク学習（MTL）がどのような状況で効果的であるかを調査する。共有の双方向LSTMアーキテクチャを用いて、MTLは5つのタスクのうち1つのみで性能向上を示し、成功は特に、コンパクトで中程度のエントロピーを持つラベル分布と強く関連している。特に、周辺タスク（例：FreqBin や POS）が低尖度（kurtosis）かつ周波数分布がバランスしている場合に顕著である。

ABSTRACT

Multitask learning has been applied successfully to a range of tasks, mostly morphosyntactic. However, little is known on when MTL works and whether there are data characteristics that help to determine its success. In this paper we evaluate a range of semantic sequence labeling tasks in a MTL setup. We examine different auxiliary tasks, amongst which a novel setup, and correlate their impact to data-dependent conditions. Our results show that MTL is not always effective, significant improvements are obtained only for 1 out of 5 tasks. When successful, auxiliary tasks with compact and more uniform label distributions are preferable.

研究の動機と目的

• 意味的シーケンスラベリングタスクにおけるマルチタスク学習（MTL）が、どのようなデータ依存的条件下で効果的であるかを特定すること。
• エントロピー、尖度、ラベルインベントリサイズなどのラベル分布特性がMTL性能に与える影響を分析すること。
• 新しいパラメトリックなFreqBinの変種を含む、さまざまな周辺タスクが意味的メインタスクに与える影響を評価すること。
• グラママチカルな周辺タスク（例：POS、チャンキング）が意味的シーケンス予測タスクの性能に改善をもたらすかどうかを調査すること。
• コーパスのソースとラベル分布の均一性が周辺タスクの有効性に果たす役割を評価すること。

提案手法

• メインタスクと周辺タスクを同時に学習するため、タスク固有の出力層を備えた共有の双方向LSTMアーキテクチャを採用する。
• 標準的なデータセットと分割を用いて、5つの意味的メインタスク（Frames, Supersenses, NER, SemTraits, MPQA）を評価する。
• 元の偏りが強いバージョンよりロバスト性を向上させるために、FreqBin周辺タスクのパラメトリックな改良版「Uniform FreqBin」を導入する。
• UPOS や PTB からの POS、構文解析を含む、さまざまな周辺タスクの組み合わせを比較する。
• 情報理論的指標（エントロピー H(Y)、尖度 k(Y)、Oクラスの割合）を用いてラベル分布を特徴付け、MTLの向上と相関づける。
• 共有の隠れ層とタスク固有の出力ヘッドを持つ共同学習目的関数を適用し、Viterbiデコードを用いないことで、直接的なシーケンス予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習が意味的シーケンス予測タスクにおいて顕著な向上をもたらすのは、どのようなデータ的条件下か？
• RQ2 エントロピー、尖度、ラベルインベントリサイズなどのラベル分布特性が、マルチタスク学習の有効性にどのように影響するか？
• RQ3 語の頻度を離散化するFreqBin周辺タスクは意味的シーケンスラベリングに有益であるか？また、パラメトリックな改良版はその有用性を向上させるか？
• RQ4 周辺タスクの選択（例：POS、チャンキング、構文解析）が意味的メインタスクの性能に顕著な影響を与えるか？
• RQ5 周辺データのソース（例：UPOS 対 PTB の POS）が、特にラベル分布のコンパクトさの観点から MTL の性能にどのように影響するか？

主な発見

• マルチタスク学習は、5つの意味的シーケンス予測タスクのうち1つでのみ性能向上を示し、意味的ラベリングにおいて普遍的に有効とは限らないことを示している。
• 最も効果的な周辺タスクは、コンパクトで中程度のエントロピーを持つラベル分布を示すものであり、特に FreqBin および FreqBin+POS は、低尖度かつ周波数分布がバランスしている。
• 新規に導入された「Uniform FreqBin」バージョンは、元の「Skewed 10」FreqBin よりも優れた性能を示し、特に低頻度ラベルの予測において頻度パターンをよりよく捉えている。
• Universal Dependencies (UPOS) コーパスからの POS タグ付けは、Penn Treebank (PTB) からのものよりも周辺タスクとして有効である。これは、ラベルインベントリが小さく、尖度が低いからである。
• POS タスクでは、そのラベル分布の利点のおかげで一貫して良好な性能を示すが、Oクラスの割合が高いタスク（例：Frames では 80％）やラベルインベントリが大きなタスクでは失敗する。
• MTL設定において、内部層対外層の予測に系統的な好みはなく、構成間での性能差は最小限にとどまる。