[論文レビュー] Union Support Recovery in Multi-task Learning

Mladen Kolar, John Lafferty+1 more|arXiv (Cornell University)|Aug 31, 2010

Control Systems and Identification参考文献 22被引用数 37

ひとこと要約

本論文は、正規平均モデルを用いて、多タスク学習におけるユニオンサポート回復を鋭く特徴付けるため、さまざまな正則化スキームの性能を明確に分析する。l1/l2およびl1/l∞正則化が、真の関連特徴のユニオンサポートを一貫して回復できる非漸近的条件を確立し、信号強度とスパarsityに応じて、タスク数が大きくまたは中程度に大きい場合に、共同推定が回復を改善することを示している。

ABSTRACT

We sharply characterize the performance of different penalization schemes for the problem of selecting the relevant variables in the multi-task setting. Previous work focuses on the regression problem where conditions on the design matrix complicate the analysis. A clearer and simpler picture emerges by studying the Normal means model. This model, often used in the field of statistics, is a simplified model that provides a laboratory for studying complex procedures.

研究の動機と目的

• 多タスク学習におけるユニオンサポート回復のための正則化スキームの鋭い理論的特徴付けを提供すること。
• 個々のタスク学習と比較して、共同推定が特徴選択をどのように改善するかという未解決の問題を解消すること。
• スパarsityを伴う高次元多タスク設定におけるl1/l2およびl1/l∞正則化の性能を分析すること。
• 真のユニオンサポートが一貫して回復される非漸近的・有限標本条件を確立すること。
• タスク数、信号強度、スパarsityが回復性能に与える影響を明確にすること。

提案手法

• 設計行列の複雑さを避けるために、多タスク学習を研究する簡略化された高次元統計的実験室としての正規平均モデルを用いる。
• 多タスク問題を、特徴をインデックスする$i$とタスクをインデックスする$j$を持つ観測値行列$Y_{ij}$としてモデル化し、非ゼロである特徴の部分集合$S$のみがタスク全体にわたって非ゼロであると仮定する。
• l1/l2およびl1/l∞正則化を用いてユニオンサポート$S$を推定し、特徴係数のタスク間の$\ell_2$および$\ell_\infty$ノルムに基づくしきい値処理を適用する。
• 集中不等式および二項尾確率の不等式を用いて、誤ったユニオンサポート回復確率の非漸近的バウンドを導出する。
• チェルノフ不等式およびガウス尾部不等式を用いて、特徴選択における第一種および第二種の誤りを制御する。
• 最小信号強度$\mu_{\min}$が$n$、$p$、$k$、$s$の関数として一貫した検出に必要な値を分析することで、回復条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 共同推定による多タスク学習が個々のタスク学習と比較して、どのような条件下でユニオンサポート回復を改善するか？
• RQ2 l1/l2およびl1/l∞正則化スキームは、関連特徴の真のユニオンサポートを回復する能力において、どのように比較されるか？
• RQ3 タスク数$k$、標本サイズ$n$、スパarsity$s$の関数として、一貫したユニオンサポート回復に必要な最小信号強度$\mu_{\min}$は何か？
• RQ4 タスク数$k$は、特に大$k$および中$k$の領域において、回復性能にどのように影響を与えるか？
• RQ5 高次元的・スパースな多タスクモデルにおいて、正確なユニオンサポート回復のための非漸近的・有限標本条件を導出できるか？

主な発見

• l1/l2正則化は、$k \underline{\pi_k} \geq \ln(s/\delta')$ を満たす場合に、多くのタスクがある条件下で一貫したユニオンサポート回復を達成する。ここで$\underline{\pi_k}$は$k$、$\beta$、$\mu_{\min}$に依存する。
• 中程度のタスク数の場合は、$k^{1-\beta}/2 \geq \ln(s/\delta')$ を満たす場合にl1/l2正則化がユニオンサポートを回復する。ここで$\beta$はスパarsityの状態を制御する。
• l1/l∞正則化は、$\mu_{\min} \geq \sigma \sqrt{2(\sqrt{5}+4)} \sqrt{\frac{k^{-1/2 + \beta}}{1-c}} \sqrt{\ln \frac{2e(2s - \delta') (p-s)}{\alpha' \delta'}}$ を満たす場合に一貫した回復を保証する。これは第二種誤りを制御する。
• 本論文は、タスク数が大きくまたは中程度に大きい場合、特に信号が十分に強い場合には、多タスク学習による共同推定がサポート回復を改善することを示している。
• 分析により、中$k$領域ではl1/l∞正則化がよりロバストであることが判明した一方、大$k$設定では適切な信号強度下でl1/l2がより優れた性能を示す。
• 回復確率が$n$、$p$、$k$、$s$、$\mu_{\min}$に明示的に関連する非漸近的バウンドが導出され、ユニオンサポート回復に対する有限標本保証が得られた。