[論文レビュー] The Benefit of Group Sparsity in Group Inference with De-biased Scaled Group Lasso

Ritwik Mitra, Cun‐Hui Zhang|arXiv (Cornell University)|Dec 13, 2014

Statistical Methods and Inference参考文献 47被引用数 3

ひとこと要約

本稿は、高次元線形回帰におけるグループワイズ正則化推定量のバイアスを補正することで、大規模な係数群のカイ二乗分布に基づく妥当な推論を可能にする、デバイアス処理を施したスケーリング済みグループ・ラッソ法を提案する。漸近的正規性を確立し、グループスパarsityの利点を捉え、大規模なグループに対しても標本サイズ要件を拡張せずに最適な誤差率を達成する。

ABSTRACT

We study confidence regions and approximate chi-squared tests for variable groups in high-dimensional linear regression. When the size of the group is small, low-dimensional projection estimators for individual coefficients can be directly used to construct efficient confidence regions and p-values for the group. However, the existing analyses of low-dimensional projection estimators do not directly carry through for chi-squared-based inference of a large group of variables without inflating the sample size by a factor of the group size. We propose to de-bias a scaled group Lasso for chi-squared-based statistical inference for potentially very large groups of variables. We prove that the proposed methods capture the benefit of group sparsity under proper conditions, for statistical inference of the noise level and variable groups, large and small. Such benefit is especially strong when the group size is large.

研究の動機と目的

• 高次元線形回帰（$ p \gg n $）における係数群の信頼領域およびp値を構築するための手法を開発すること。
• 既存の低次元プロジェクション推定量の限界に対処すること。特に、大規模なグループ推論において標本サイズをグループサイズに比例して拡大する必要がある点である。
• グループサイズが非常に大きい場合でも、標本サイズの増加を犠牲にせずに、カイ二乗分布に基づく推論を可能にすること。
• 特にグループサイズが大きい場合に、推論におけるグループスパarsityの利点を形式的に確立すること。
• 適切な条件下で漸近的正規性を達成し、フィッシャー情報量の上限に到達するデバイアス処理フレームワークを提供すること。

提案手法

• グループワイズ回帰係数における推定バイアスを補正するために、スケーリング済みグループ・ラッソ推定量にデバイアス処理を適用する。
• 緩められたプロジェクション推定量を用いて、グループパラメータの漸近的正規性を持つ推定量を構築し、妥当な推論を保証する。
• 主な要素として、関心のあるグループ以外のすべての変数に対してほぼ直交するスコアベクトルの近似を用いること。
• グループスパース固有値条件と、Lassoによる精度行列の逆行列推定に依存する。これによりフィッシャー情報量の上限を推定する。
• 理論的分析では、高次元集中不等式とグループワイズスパarsity仮定を用いて、漸近分布における剰余項を制御する。
• 本手法は、$ \ell_2 $-誤差バウンドが $ \|\boldsymbol{\beta}^*\|_0 \log p / \sqrt{n} $ のスケールに従い、大規模なグループに対してもグループサイズに比例した $ |G|^{1/2} $ のインフレートを回避する。

実験結果

リサーチクエスチョン

• RQ1 高次元線形モデルにおける大規模な係数群に対して、妥当なカイ二乗分布に基づく信頼領域およびp値を構築できるか？
• RQ2 スケーリング済みグループ・ラッソをデバイアス処理することで、グループサイズに比例した標本サイズの増加を伴わずに効率的な推論が可能になるか？
• RQ3 グループスパarsityは、高次元設定における統計的推論の正確性をどの程度向上させるか？
• RQ4 デバイアス処理を施したスケーリング済みグループ・ラッソが、どのような条件下で漸近的正規性を達成し、フィッシャー情報量の上限に到達するか？
• RQ5 グループサイズが標本サイズに対して非常に大きい場合、本手法はどのように性能を発揮するか？

主な発見

• 提案手法であるデバイアス処理を施したスケーリング済みグループ・ラッソは、グループパラメータに対して漸近的正規性を達成し、$ \sqrt{n}(\widehat{\boldsymbol{\beta}}_G - \boldsymbol{\beta}^*_G) \approx \mathsf{N}(\boldsymbol{0}, \sigma^2 \mathbf{V}_{G,G}) $ となる。これにより、妥当なカイ二乗分布に基づく推論が可能となる。
• 本手法は、低次元プロジェクション推定量の単純な拡張が抱えるグループサイズに比例する $ |G|^{1/2} $ 要因のインフレートを回避するため、グループスパarsityの利点を捉えている。
• 漸近展開における剰余項は、$ |G| $ が小さい必要がないまま $ \|\mathrm{Rem}_G\|_2 = o(1) $ を満たす。
• グループスパース固有値条件と精度行列のスパarsity仮定の下で理論的保証が得られ、フィッシャー情報量効率性が保証される。
• 本手法は、$ \ell_2 $-ノルムにおける最適誤差率を達成し、グループサイズに依存せず、$ \|\boldsymbol{\beta}^*\|_0 \log p / \sqrt{n} $ のスケールに従う。
• 分析により、特にグループサイズが大きい場合に、グループスパarsityが推論効率を顕著に向上させることが確認された。