[論文レビュー] The degrees of freedom of the Group Lasso for a General Design

Samuel Vaiter, Charles‐Alban Deledalle+3 more|arXiv (Cornell University)|Dec 28, 2012

Statistical Methods and Inference参考文献 3被引用数 3

ひとこと要約

本稿は、設計行列が一般の形である場合、グループリッジ回帰の自由度（DOF）の不偏推定量を導出する。設計行列が低次元または過剰決定であっても、自由度の推定が可能である。グループリッジ回帰の解の局所的パラメータ化を確立し、半代数的幾何学の道具を用いることで、予測推定量の発散がほとんど至る所で明示的な式に等しいことを証明する。これにより、スティーブンの不偏リスク推定（SURE）を用いた不偏予測リスク推定が可能になる。

ABSTRACT

In this paper, we are concerned with regression problems where covariates can be grouped in nonoverlapping blocks, and where only a few of them are assumed to be active. In such a situation, the group Lasso is an at- tractive method for variable selection since it promotes sparsity of the groups. We study the sensitivity of any group Lasso solution to the observations and provide its precise local parameterization. When the noise is Gaussian, this allows us to derive an unbiased estimator of the degrees of freedom of the group Lasso. This result holds true for any fixed design, no matter whether it is under- or overdetermined. With these results at hand, various model selec- tion criteria, such as the Stein Unbiased Risk Estimator (SURE), are readily available which can provide an objectively guided choice of the optimal group Lasso fit.

研究の動機と目的

• 一般線形モデルにおけるグループリッジ回帰の自由度（DOF）の不偏推定量を提供すること。特に、低次元および過剰決定設計を含む。
• 観測ベクトル y の関数としてのグループリッジ回帰解の局所的パラメータ化を確立すること。設計行列がランク不足であっても有効である。
• グループリッジ回帰の予測マップの発散が、ほとんど至る所で閉形式の式に等しいことを証明すること。これにより、DOFの不偏推定が可能になる。
• SUREに基づくモデル選択基準をグループリッジ回帰フレームワークに拡張し、正則化パラメータ λ の客観的選択を可能にすること。
• 従来のLassoおよびグループリッジ回帰のDOFに関する結果を、直交設計やフルランク設計に限らない一般設計へと一般化すること。

提案手法

• 最適性条件と部分微分法を用いて、R^n から測度ゼロの集合 H を除いた領域で、グループリッジ回帰解 β̂(y) の局所的 C1 パラメータ化を導出する。
• 半代数的幾何学を用いて、解が非微分可能となる集合 H（測度ゼロ）であることを証明し、ほとんど至る所での微分可能性を保証する。
• 予測マップ µ̂(y) = Xβ̂(y) の発散公式を、I_d(y, λ) が解マップのヤコビ行列であるとし、tr(X I_d(y, λ)) として表現する。
• スティーブンの補題を適用し、ガウスノイズ下で発散公式がDOFの不偏推定量であることを示す。
• X = I_n の特別な場合にDOFの閉形式表現を導出し、それがグループサイズの総和から λ とグループノルムを含む縮小項を引いたものに等しいことを示す。
• SUREを用いてDOF推定量を検証し、モデル選択に適した不偏予測リスク推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 設計行列がフルランクでない場合、グループリッジ回帰の自由度の不偏推定量を導出できるか？
• RQ2 グループリッジ回帰の予測マップの正確な発散は何か？ そして、どのような条件下でほとんど至る所で定義可能となるか？
• RQ3 グループリッジ回帰のDOFは、グループ構造と正則化パラメータ λ の関数としてどのように表現できるか？
• RQ4 SUREの原則をグループリッジ回帰に適用し、客観的なモデル選択を可能にできるか？
• RQ5 DOF推定量は、直交設計に限らない一般の（非直交）設計、特に低次元系においても不偏のままであるか？

主な発見

• グループリッジ回帰の自由度は、予測マップの発散によって不偏に推定可能であり、設計行列とグループ固有の射影を含む明示的な式にほぼ至る所で等しい。
• グループリッジ回帰解が非微分可能となる点の集合は、Lebesgue測度がゼロであるため、発散に基づくDOF推定が正当化される。
• 単位行列設計（X = I_n）の場合、DOF推定量は ∑_{b∈I} |b| − λ ∑_{b∈I} (|b|−1)/||yb|| に簡略化され、既知のソフトスレッショーディングのDOF公式と一致する。
• 任意の固定設計行列に対してDOF推定量が有効であり、ランクや n と p の構成にかかわらず成立する。これにより、従来のフルランクまたは直交設計に限った結果の拡張が達成される。
• DOFに基づくSUREリスク推定量は、予測リスク E||µ̂(y) − µ₀||² に対して不偏であるため、λ の客観的選択が可能になる。
• 本手法は、特に低次元設定においても、高次元のグループスパース回帰におけるモデル選択の厳密な基礎を提供する。