[論文レビュー] Learning Task Grouping and Overlap in Multi-task Learning

Abhishek Kumar, Hal Daumé|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 252

ひとこと要約

本稿では、タスクパラメータを共有ベースタスクのスパース線形結合としてモデル化することで、柔軟なタスクグループ化と重複を可能にするマルチタスク学習フレームワークを提案する。結合係数におけるスパarsityを強制することで、タスク間の情報共有の程度とパターンを制御でき、4つのベンチマークデータセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

In the paradigm of multi-task learning, mul- tiple related prediction tasks are learned jointly, sharing information across the tasks. We propose a framework for multi-task learn- ing that enables one to selectively share the information across the tasks. We assume that each task parameter vector is a linear combi- nation of a finite number of underlying basis tasks. The coefficients of the linear combina- tion are sparse in nature and the overlap in the sparsity patterns of two tasks controls the amount of sharing across these. Our model is based on on the assumption that task pa- rameters within a group lie in a low dimen- sional subspace but allows the tasks in differ- ent groups to overlap with each other in one or more bases. Experimental results on four datasets show that our approach outperforms competing methods.

研究の動機と目的

• マルチタスク学習における情報共有の対象となるタスクを選択する課題に対処すること。
• スパース係数を用いた共有された基本的タスクの下でタスク関係をモデル化すること。
• 1つ以上のベースタスクを共有することを許容することで、複数のタスクが同じベースコンポーネントを共有できるようにすること。
• データからタスクグループ化と重複を自動で学習することで一般化性能を向上させること。
• 実世界のベンチマークデータセットにおいて、既存のマルチタスク学習手法を上回ること。

提案手法

• タスクパラメータは、固定されたベースタスク集合のスパース線形結合としてモデル化される。
• 結合係数におけるスパarsityが、タスク間の情報共有の範囲とパターンを制御する。
• 同じグループ内のタスクに対して、低次元部分空間仮定が用いられる。
• タスクが1つ以上のベースタスクを共有することを許容することで、重複が可能になる。
• 正則化された学習目的関数を用いて最適化が行われ、スパarsityと低ランク構造を促進する。
• ベースタスクとその係数を同時に学習できるように、凸最適化定式化を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習において、どのタスクが情報を共有すべきかを自動で学習する方法は何か？
• RQ2 タスクグループ化と重複は、マルチタスク学習における一般化性能をどの程度向上させ得るか？
• RQ3 ベースタスクのスパース線形結合は、複雑なタスク関係を効果的にモデル化できるか？
• RQ4 提案手法は、既存のマルチタスク学習ベースラインと比較して、性能面でどのように差をつけるか？
• RQ5 重複するタスクグループは予測精度にどのような影響を与えるか？

主な発見

• 提案手法は、4つの実世界のデータセットにおいて、競合するマルチタスク学習手法を上回る性能を発揮した。
• モデルは、タスク関係に関する事前知識を必要とせず、タスクグループ化と重複を効果的に学習した。
• 係数ベクトルのスパarsityは、意味的で解釈可能なタスクグループ化をもたらした。
• 関連するタスク間での情報共有を的確に選択することで、より良い一般化性能を達成した。
• 実験結果により、多様な学習タスクにおいて一貫した性能向上が確認された。
• 本手法は、タスクの重複度やグループ構造の変動に対して頑健であった。