[論文レビュー] On Multiplicative Multitask Feature Learning

Xin Wang, Jinbo Bi+2 more|PubMed|Oct 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 33

ひとこと要約

本稿では、タスク固有のモデルパラメータをタスク間特徴インジケータとタスク固有パラメータの積に分解することで、柔軟な正則化を可能にする一般化された乗法的マルチタスク特徴学習フレームワークを提案する。この手法は、共同正則化と理論的に同等であるが、より広範な正則化形式を許容する。実験的結果により、合成データおよび実世界のデータにおいて、新しい定式化 MMTFL(2,1) および MMTFL(1,2) が性能向上を示している。

ABSTRACT

We investigate a general framework of multiplicative multitask feature learning which decomposes individual task's model parameters into a multiplication of two components. One of the components is used across all tasks and the other component is task-specific. Several previous methods can be proved to be special cases of our framework. We study the theoretical properties of this framework when different regularization conditions are applied to the two decomposed components. We prove that this framework is mathematically equivalent to the widely used multitask feature learning methods that are based on a joint regularization of all model parameters, but with a more general form of regularizers. Further, an analytical formula is derived for the across-task component as related to the task-specific component for all these regularizers, leading to a better understanding of the shrinkage effects of different regularizers. Study of this framework motivates new multitask learning algorithms. We propose two new learning formulations by varying the parameters in the proposed framework. An efficient blockwise coordinate descent algorithm is developed suitable for solving the entire family of formulations with rigorous convergence analysis. Simulation studies have identified the statistical properties of data that would be in favor of the new formulations. Extensive empirical studies on various classification and regression benchmark data sets have revealed the relative advantages of the two new formulations by comparing with the state of the art, which provides instructive insights into the feature learning problem with multiple tasks.

研究の動機と目的

• 共有およびタスク固有の成分に対する柔軟な正則化を可能にする、乗法的マルチタスク特徴学習の一般化フレームワークの開発。
• 異なる正則化子のもとで、提案された乗法的フレームワークと従来の共同正則化手法との理論的同等性の分析。
• タスク間成分とタスク固有成分の間の解析的関係を導出することで、収縮効果の理解を深める。
• 特徴選択の向上を図るため、非対称正則化（例：一方の成分に ℓ2、他方の成分に ℓ1）を用いた新たなマルチタスク学習定式化の設計。
• 合成および実世界のデータに対して、提案された定式化を最先端手法と比較して実証的に検証すること。

提案手法

• 各タスクのモデルパラメータを、タスク間特徴インジケータ・ベクトルとタスク固有パラメータ・ベクトルの要素ごとの積に分解する。
• タスク間成分およびタスク固有成分に異なる正則化子（例：ℓ1、ℓ2、ℓ∞）を適用し、スパarsity と共有構造の促進を図る。
• 最適なタスク固有パラメータを用いて、タスク間成分の解析的解を導出することで、効率的な最適化を可能にする。
• 正則化子が非対称（一方の成分に ℓ2、他方の成分に ℓ1）である2つの新しい定式化、MMTFL(2,1) および MMTFL(1,2) を提案する。
• 解析的解に基づく効率的な最適化アルゴリズムを設計し、全定式化族を解けるようにする。
• 既知の特徴共有パターン（例：階段状構造）を有する合成データを用い、本手法がこのようなパターンを回復できる能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案された乗法的マルチタスク特徴学習フレームワークは、数学的同等性および正則化子の柔軟性の観点から、既存の共同正則化手法とどのように関係しているか？
• RQ2 異なる正則化子のもとで、タスク間成分とタスク固有成分との間の解析的関係は何か？
• RQ3 異なる正則化子の組み合わせ（例：ℓ2 と ℓ1）は、収縮行動および特徴選択性能にどのように影響するか？
• RQ4 本フレームワークは、クラスタリングベースのマルチタスク手法では捉えきれないような、複雑な特徴共有パターン（例：階段状構造）を回復できるか？
• RQ5 新たに提案された定式化 MMTFL(2,1) および MMTFL(1,2) は、合成および実世界のデータにおいて、既存の最先端マルチタスク学習手法を上回る性能を示すか？

主な発見

• 提案された乗法的フレームワークは、数学的に共同正則化手法と同等であるが、行列ノルムに限定されないより広範な正則化子のクラスを許容する。
• 最適なタスク固有パラメータを関数として表す解析的公式が導出され、収縮行動の理解に役立つ。
• 合成データ D2 において 50% の特徴ノイズ条件下で、MMTFL(1,2) は R² 0.97 を達成し、他のすべての手法（MMTFL(2,1) や MMTFL(1,1) を含む）を上回った。
• 合成データ D1 において 50% のノイズ条件下で、MMTFL(2,1) は R² 0.90 を達成し、STL や DMTL、rMTFL より顕著に優れた性能を示した。
• Sarcos ロボットトルク予測データセットにおいて、MMTFL(2,1) は 50% のノイズ条件下で R² 0.91 を達成し、他のすべての手法を上回った。
• USPS 手書き数字分類データセットにおいて、MMTFL(1,2) は 50% のノイズ条件下で F1 スコア 0.93 を達成し、実世界の分類タスクにおいて優れた性能を示した。