[論文レビュー] Flexible Modeling of Latent Task Structures in Multitask Learning

Alexandre Passos, Piyush Rai+2 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 33

ひとこと要約

この論文では、混合因子分析器を組み合わせることで、固定された構造を仮定せずに、多タスク学習における潜在的タスク構造を柔軟に学習する非パrametricベイジアンモデルを提案する。この手法により、クラスタリング、低ランク、非線形部分空間といった多様なタスク関係の自動発見が可能になる。変分推論を用い、合成データおよび実世界の回帰・分類タスクにおいて、固定構造を仮定する既存のモデルを上回る優れた性能を示す。

ABSTRACT

Multitask learning algorithms are typically designed assuming some fixed, a priori known latent structure shared by all the tasks. However, it is usually unclear what type of latent task structure is the most appropriate for a given multitask learning problem. Ideally, the "right" latent task structure should be learned in a data-driven manner. We present a flexible, nonparametric Bayesian model that posits a mixture of factor analyzers structure on the tasks. The nonparametric aspect makes the model expressive enough to subsume many existing models of latent task structures (e.g, mean-regularized tasks, clustered tasks, low-rank or linear/non-linear subspace assumption on tasks, etc.). Moreover, it can also learn more general task structures, addressing the shortcomings of such models. We present a variational inference algorithm for our model. Experimental results on synthetic and real-world datasets, on both regression and classification problems, demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 既存の多タスク学習モデルが固定された事前定義された潜在的タスク構造を仮定するという限界を解決すること。
• データ駆動的に多様なタスク関係を自動で発見・適応できる手法を開発すること。
• 既存の潜在的タスク構造モデル（例：クラスタリング、低ランク、部分空間）を統一的かつ一般化的に一つの柔軟なフレームワークに統合すること。
• 現在のモデルが捉えきれないより複雑な非標準的タスク構造を発見できるようにすること。

提案手法

• モデルは、ディリクレ過程混合因子分析器を用いる非パラメトリックベイジアンアプローチを採用し、潜在的タスク構造を表現する。
• 各混合成分は、関連するタスク群を共有される低次元の潜在的要因でモデル化する別個の因子分析器に対応する。
• 混合成分の数はデータから推定され、タスククラスターや部分空間の数をデータに応じて適応的に決定可能である。
• 潜在的タスク構造およびモデルパラメータの後erior推論を実行するための変分推論アルゴリズムが開発された。
• タスク固有の重みと共有される潜在的要因を同時に学習することで、タスク間での柔軟な一般化が可能になる。
• 尤度関数を適切に変更することにより、回帰および分類タスクの両方をサポートするフレームワークが実現された。

実験結果

リサーチクエスチョン

• RQ1 与えられたタスク集合に対して、事前仮定なしに最も適切な潜在的構造を自動で発見できるマルチタスク学習モデルは存在するか？
• RQ2 固定構造モデル（例：低ランク、クラスタリング）と比較して、予測性能において本手法はどのように差をつけるか？
• RQ3 線形部分空間やクラスタリングといった一般的な仮定を超えて、複雑な非標準的タスク関係をどの程度発見できるか？
• RQ4 タスク類似度やデータ内のノイズの程度の変動に対して、モデルはどの程度頑健か？
• RQ5 データから、潜在的なタスクグループまたは部分空間の正しい数を効果的に学習できるか？

主な発見

• 提案手法は、合成データおよび実世界のマルチタスク学習ベンチマークにおいて、固定構造仮定を持つモデルを上回る最先端の性能を達成した。
• 合成データでは、真の構造（例：クラスタリング、低ランク）を正しく特定し、成分数の真値に適応した。
• 実世界の分類および回帰タスクにおいて、ベースラインのマルチタスク学習手法よりも一貫して一般化性能を向上させた。
• 単純なモデルが捉えきれない複雑な非線形タスク関係を、本手法は効果的に発見した。
• 変分推論アルゴリズムは信頼性高く収束し、中程度のスケールのマルチタスク問題に対しても適切にスケーリングされた。