[論文レビュー] Taking Advantage of Sparsity in Multi-Task Learning

Karim Lounici, Massimiliano Pontil+2 more|arXiv (Cornell University)|Mar 9, 2009

Sparse and Compressive Sensing Techniques参考文献 19被引用数 125

ひとこと要約

本稿では、複数の回帰タスク間で共有されるスパース構造を活用するグループリッジ回帰に基づくマルチタスク学習手法を提案する。制限固有値およびコherエンス条件の下で、予測誤差および推定誤差の鋭い境界を確立し、予測子の数 M に依存しない形で、タスク数 T が増加する際に、高次元設定（M ≫ n）においても一貫的な変数選択と最適な収束速度を達成する。

ABSTRACT

We study the problem of estimating multiple linear regression equations for the purpose of both prediction and variable selection. Following recent work on multi-task learning Argyriou et al. [2008], we assume that the regression vectors share the same sparsity pattern. This means that the set of relevant predictor variables is the same across the different equations. This assumption leads us to consider the Group Lasso as a candidate estimation method. We show that this estimator enjoys nice sparsity oracle inequalities and variable selection properties. The results hold under a certain restricted eigenvalue condition and a coherence condition on the design matrix, which naturally extend recent work in Bickel et al. [2007], Lounici [2008]. In particular, in the multi-task learning scenario, in which the number of tasks can grow, we are able to remove completely the effect of the number of predictor variables in the bounds. Finally, we show how our results can be extended to more general noise distributions, of which we only require the variance to be finite.

研究の動機と目的

• 予測子の数 M が観測数 n より著しく多い高次元回帰の課題に対処すること。
• すべてのタスクが同じ関連予測子変数の集合を持つ（構造的スパース性）という仮定を活用し、推定と変数選択を改善すること。
• 設計行列に対する最小限の仮定の下で、予測精度および真のスパース構造の回復に関する理論的保証を確立すること。
• タスク数 T が、M に依存する誤差境界の依存性を排除するために利用可能であることを示すこと。
• 有限分散を持つ一般のノイズ分布へと結果を拡張すること。ガウス性を仮定しない。

提案手法

• 各タスク t が独自の設計行列 $X_t$、応答ベクトル $y_t$、回帰係数ベクトル $eta^*_t$ を持つマルチタスク回帰モデルを定式化する。
• 全タスクにおける平均二乗残差誤差を最小化するグループリッジ推定器を導入し、係数ベクトルの混合 $(2,1)$-ノルムによる正則化を施して、共有スパース性を強制する。
• フィットとスパース性のトレードオフを制御するため、正則化パラメータ $\lambda = \sigma \sqrt{\frac{\log^{1+\delta} M}{nT}}$（$\delta > 0$）を用いる。
• 設計行列に制限固有値（RE）およびコherエンス条件を適用し、真の係数ベクトルの安定的回復を保証する。
• 集中不等式およびモーメントバウンド（補題 A.2 を用いて）を適用し、推定誤差およびスパース構造回復に関する高確率境界を導出する。
• 最小信号強度が十分に高い条件下で、推定器およびしきい値ルールを修正し、真のサポートを高確率で正確に回復可能とする。

実験結果

リサーチクエスチョン

• RQ1 複数の回帰タスク間で共有されるスパース構造を活用することで、高次元設定における予測精度および変数選択が向上するか？
• RQ2 M ≫ n かつ T が大きい場合のマルチタスク学習におけるグループリッジの理論的誤差境界は何か？
• RQ3 タスク数 T が、誤差境界の予測子数 M への依存性を排除するのに寄与するか？
• RQ4 グループリッジ推定器が真のスパース構造 $J(\beta^*)$ を一貫的に回復できる条件は何か？
• RQ5 有限分散を持つ非ガウスノイズに対しても、理論的保証はどのように拡張されるか？

主な発見

• 高確率で予測誤差は $\frac{16}{\kappa^2} \sigma^2 s \frac{\log^{1+\delta} M}{n}$ で抑えられ、T が増加する際には M に依存しない。
• $(2,1)$-ノルムにおける推定誤差は、高確率で $\frac{1}{\sqrt{T}} \|\hat{\beta} - \beta^*\|_{2,1} \leq \frac{16}{\kappa^2} \sigma s \sqrt{\frac{\log^{1+\delta} M}{n}}$ を満たす。
• 最小信号強度が $2c \sqrt{\frac{\log^{1+\delta} M}{n}}$ を上回る場合、$c = \left(\frac{3}{2} + \frac{1}{7(\alpha-1)}\right)\sigma$ とすると、高確率で正確なサポート回復（$\hat{J} = J(\beta^*)$）が達成される。
• 制限固有値条件 RE(2s) の下では、予測誤差境界は $\frac{160}{\kappa^4(2s)} \sigma^2 s \frac{\log^{1+\delta} M}{n}$ に改善され、最適な収束速度が示される。
• 有限分散を持つサブガウスノイズに対しても結果は拡張可能であり、この場合、M への依存は T が増加しない限り完全に排除できない。
• 濃度の失敗事象 $\mathcal{A}^c$ の確率は $\frac{(2e\log M - e)c'}{\log^{1+\delta} M}$ で抑えられ、M および T と共に減少する。