[論文レビュー] Consistency of the group Lasso and multiple kernel learning

Francis Bach|ArXiv.org|Jul 23, 2007

Statistical Methods and Inference参考文献 49被引用数 704

ひとこと要約

本稿は、高次元回帰におけるグループlassoと複数カーネル学習（MKL）の理論的整合性条件を確立し、モデル不適合を含む実用的仮定のもとでスパarsityパターンが一貫して回復可能であることを示している。共分散作用素と関数解析を用いて、有限次元のlassoの一貫性結果をグループ化された設定および無限次元のカーネル設定へと拡張している。

ABSTRACT

We consider the least-square regression problem with regularization by a block 1-norm, i.e., a sum of Euclidean norms over spaces of dimensions larger than one. This problem, referred to as the group Lasso, extends the usual regularization by the 1-norm where all spaces have dimension one, where it is commonly referred to as the Lasso. In this paper, we study the asymptotic model consistency of the group Lasso. We derive necessary and sufficient conditions for the consistency of group Lasso under practical assumptions, such as model misspecification. When the linear predictors and Euclidean norms are replaced by functions and reproducing kernel Hilbert norms, the problem is usually referred to as multiple kernel learning and is commonly used for learning from heterogeneous data sources and for non linear variable selection. Using tools from functional analysis, and in particular covariance operators, we extend the consistency results to this infinite dimensional case and also propose an adaptive scheme to obtain a consistent model estimate, even when the necessary condition required for the non adaptive scheme is not satisfied.

研究の動機と目的

• 実用的仮定（モデル不適合を含む）の下で、グループlassoのモデル一貫性の必要十分条件を確立すること。
• 再生核ヒルベルト空間（RKHS）を用いて、有限次元のグループlassoの一貫性結果を無限次元のMKL設定へと拡張すること。
• 標準的な非適応的MKLの条件が満たされない場合でも一貫性を保証する適応的スキームを提案すること。
• 異種データ統合およびカーネル学習におけるグループ選択および非線形変数選択の理論的基盤を提供すること。
• 特に入力空間における共分散作用素を用いた関数解析を通じて、グループlassoとMKLの分析を統一すること。

提案手法

• 双対空間の計算に依存しない、原始空間におけるグループlassoとMKLの分析に共分散作用素を用いる。
• 関数解析の道具を用いて、有限次元のグループlassoの一貫性を無限次元のRKHS設定へと拡張する。
• 共分散作用素の固有値性質とグループ構造に基づいて、一貫性の必要十分条件を導出する。
• 初期推定に基づくデータに依存する重みを用いた適応的グループlassoスキームを導入し、標準条件が満たされない場合でも一貫性を回復する。
• L^2(p_X)における正規直交基底と、共分散作用素Σ_{XX}の固有値分解を用いて解空間を特徴付ける。
• ヘルミート多項式展開とガウスカーネルの固有基底を用いて、ガウス分布の場合に期待値を解析的に計算し、条件の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 回帰係数の真のスパarsityパターンをグループlassoが回復するための条件は何か？
• RQ2 モデル不適合がグループlassoの一貫性に与える影響は何か？ 一貫性は依然として達成可能か？
• RQ3 グループlassoの一貫性結果は、複数カーネル学習の無限次元設定へと拡張可能か？
• RQ4 標準的なグループlasso条件が満たされない場合、どのような条件下でMKLの一貫性が保証されるか？
• RQ5 弱いか、あるいは条件が満たされない仮定のもとで、適応的スキームはMKLの一貫性をどのように向上させるか？

主な発見

• グループlassoは、設計行列とグループの間の特定の相関条件が満たされる場合に限り、真のスパarsityパターンを一貫して回復可能であり、モデル不適合の下でも成立する。
• グループ内に強い相関がある場合、標準的なグループlassoは正しいスパarsityパターンを回復できないが、データに依存する重みを用いた適応的バージョンにより一貫性が回復される。
• 複数カーネル学習では、真の関数がカーネル関数の線形空間に含まれていて、かつカーネルの組み合わせが共分散作用素の固有値性質に関連するレプロダーサー条件を満たす場合に一貫性が達成される。
• 本稿では、弱い仮定のもとで、グループlassoがL^2(p_X)における最良線形予測子に係数ベクトルおよびスパarsityパターンの両面で収束することを証明している。
• ガウスカーネルの場合、明示的な固有基底とヘルミート多項式展開により、モンテカルロサンプルを用いずに一貫性条件を解析的に検証可能である。
• 適応的スキームにより、非適応的MKLに必要な条件が満たされない場合でも、初期推定に基づくグループノルムの再重み付けによって一貫性が保証される。