[論文レビュー] The Degrees of Freedom of the Group Lasso

Samuel Vaiter, Charles Deledalle+3 more|arXiv (Cornell University)|May 7, 2012

Statistical Methods and Inference参考文献 12被引用数 8

ひとこと要約

本稿は、観測値に関するグループリッジ回帰解の厳密な局所パラメータ化を提供し、解の感度の発散を用いた自由度（DOF）の不偏推定を可能にする。主な貢献は、AIC、SURE、GCVなどの基準を用いた原則的なモデル選択を可能にする、証明可能な不偏DOF推定器の構築である。

ABSTRACT

This paper studies the sensitivity to the observations of the block/group Lasso solution to an overdetermined linear regression model. Such a regularization is known to promote sparsity patterns structured as nonoverlapping groups of coefficients. Our main contribution provides a local parameterization of the solution with respect to the observations. As a byproduct, we give an unbiased estimate of the degrees of freedom of the group Lasso. Among other applications of such results, one can choose in a principled and objective way the regularization parameter of the Lasso through model selection criteria.

研究の動機と目的

• 観測ベクトル y の関数としてのグループリッジ回帰解 β⋆(y) の局所パラメータ化を構築すること。
• グループリッジ回帰の自由度（DOF）の不偏推定器を提供し、モデルの複雑さを定量化すること。
• AIC、SURE、GCV などのモデル選択基準を用いた客観的な正則化パラメータ選択を可能にすること。
• 非重複ブロックを有するグループリッジ回帰の構造的スパarsity設定への、LassoのDOFに関する先行結果の拡張。
• 一般の設計行列下におけるブロックスパース正則化における感度解析の理論的基盤を確立すること。

提案手法

• カルーシュ＝クーン＝タッカー（KKT）条件およびアクティブブロックサポート I を用いて、グループリッジ回帰解 β⋆(y) の局所的暗黙的パラメータ化を導出する。
• 陰関数定理を適用し、β⋆(y) の y に関する微分を計算することで、ラグランジュ関数のヘッセ行列の逆行列を含む表現を得る。
• ブロック対角作用素 δβ と直交射影 P⊥β を導入し、グループ L1 ペナルティの部分勾配構造を特徴付ける。
• 解が非微分可能となる臨界集合 H を定義し、予測写像 ŷ(y) = Xβ⋆(y) のほとんど everywhere での微分可能性を保証する。
• スティーンの補題と弱微分可能性を用いて、ŷ(y) のヤコビ行列のトレースが自由度の不偏推定器であることを示す。
• 自由度推定器を、活性ブロック上での射影作用素のトレースの和として導出し、正規コーン構造と残差構造を含む。

実験結果

リサーチクエスチョン

• RQ1 グループリッジ回帰解は、観測ベクトル y の摂動に対してどのように変化するか？
• RQ2 一般の設計行列下で、グループリッジ回帰の自由度に対する不偏推定器を導出可能か？
• RQ3 アクティブブロックサポートが固定された場合、解の感度の構造はいかなるものか？
• RQ4 自由度は、グループリッジ回帰における正則化パラメータ λ の客観的選択にどのように利用できるか？
• RQ5 グループリッジ回帰解が弱微分可能となる条件は何か？また、その予測写像の発散は何か？

主な発見

• グループリッジ回帰解 β⋆(y) は ℝ^Q 上でほとんど至るところで C¹-滑らかであり、Lebesgue測度がゼロの集合 H を除いてはそうである。
• グループリッジ回帰の自由度は、予測写像 ŷ(y) = Xβ⋆(y) のヤコビ行列のトレースとして与えられ、これは真の自由度の不偏推定器である。
• アイデンティティ設計の場合、自由度推定器は ∑_{b∈I} tr(P⊥β_b) = ∑_{b∈I} (|b| - 1) として表され、I はアクティブブロックサポートを表す。
• 一般の設計行列では、自由度は解写像の発散として与えられ、ラグランジュ関数のヘッセ行列の逆行列と正規コーン構造を含む。
• 提案された自由度推定器は不偏であり、AIC、SURE、GCV などのモデル選択基準に適用可能である。
• 臨界集合 H は、次元 Q−1 の多様体の有限個の和集合として示され、Lebesgue測度がゼロである。