[論文レビュー] The Lasso under Heteroscedasticity

Jinzhu Jia, Karl Rohe+1 more|arXiv (Cornell University)|Nov 3, 2010

Statistical Methods and Inference参考文献 30被引用数 7

ひとこと要約

本稿は、医療画像診断の応用を背景に、応答変数の平均に比例してノイズ分散が変化するポアソンに類似した不均一分散モデル下でのリッジ回帰の性能を調査する。ノイズ分散が応答の平均に比例する不均一分散構造に対しても、信号対雑音比（SNR）が十分に高い場合には、Lassoが依然として頑健であることを示し、符号の一致性に関する十分かつ必要条件を確立した。シミュレーション結果により、ノイズが適切にスケーリングされた場合、同様の均一分散設定と比較して同等のモデル選択性能を示すことが確認された。

ABSTRACT

The performance of the Lasso is well understood under the assumptions of the standard linear model with homoscedastic noise. However, in several applications, the standard model does not describe the important features of the data. This paper examines how the Lasso performs on a non-standard model that is motivated by medical imaging applications. In these applications, the variance of the noise scales linearly with the expectation of the observation. Like all heteroscedastic models, the noise terms in this Poisson-like model are extit{not} independent of the design matrix. More specifically, this paper studies the sign consistency of the Lasso under a sparse Poisson-like model. In addition to studying sufficient conditions for the sign consistency of the Lasso estimate, this paper also gives necessary conditions for sign consistency. Both sets of conditions are comparable to results for the homoscedastic model, showing that when a measure of the signal to noise ratio is large, the Lasso performs well on both Poisson-like data and homoscedastic data. Simulations reveal that the Lasso performs equally well in terms of model selection performance on both Poisson-like data and homoscedastic data (with properly scaled noise variance), across a range of parameterizations. Taken as a whole, these results suggest that the Lasso is robust to the Poisson-like heteroscedastic noise.

研究の動機と目的

• 応答変数の平均に比例してノイズ分散が変化する非標準的でポアソンに類似した不均一分散モデル下でのLassoの符号的一致性を調査すること。
• この不均一分散設定下での符号的一致性の十分かつ必要条件を導出すること。
• このモデル下でのLassoの性能を古典的な均一分散モデルと比較すること。
• 高次元回帰における不均一分散ノイズに対してLassoがどの程度頑健であるかを評価すること。

提案手法

• 誤差項の条件付き分散が期待応答に比例するスパースなポアソンに類似したモデルを定式化し、すなわち $ \text{Cov}(\epsilon \mid \mathbf{X}) = \sigma^2 \cdot \text{diag}(|\mathbf{X}\beta^*|) $ とする。
• 集中不等式および確率的行列理論を用いて、このモデル下でのLasso推定量 $ \hat{\beta}(\lambda) $ の符号的一致性を分析する。
• 設計行列の部分ベクトルおよび $ \mathbf{X}^T\mathbf{X} $ の固有値の挙動を制御するために、正規分布および $ \chi^2 $ の尾部バウンドを適用する。
• i.i.d. 正規行列の固有値集中に関する結果を用いて、スパarsity下での極端な特異値をバウンドする。
• 均一分散ケースと同様の形で、符号的一致性の十分かつ必要条件を導出し、信号対雑音比が主要な決定要因であることを示す。
• シミュレーションを用いて、ノイズスケーリングが等価な状況下で、ポアソンに類似したモデルと均一分散モデルとの間でのモデル選択性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 応答変数の平均に比例してノイズ分散が変化するポアソンに類似した不均一分散モデル下で、Lassoの符号的一致性が成立する条件は何か？
• RQ2 この不均一分散モデル下での符号的一致性の十分かつ必要条件は、標準的な均一分散モデル下のそれとどのように比較できるか？
• RQ3 ノイズ分散が適切にスケーリングされた場合、ポアソンに類似したデータに対してLassoは均一分散データと同等のモデル選択性能を示すか？
• RQ4 信号対雑音比は、不均一分散下での真のスパースモデルの回復能力にLassoが与える影響は何か？
• RQ5 PET や SPECT などの医療画像応用で見られる特定の不均一分散構造に対して、Lassoは頑健であるか？

主な発見

• 信号対雑音比（SNR）が十分に高い場合には、ポアソンに類似した不均一分散モデル下でもLassoは符号的一致性を達成する。その条件は均一分散ケースと同様の形をとる。
• 符号的一致性のための十分かつ必要条件が導出され、均一分散およびポアソンに類似した不均一分散設定の両方で、性能を規定する信号対雑音比の閾値が同一であることが示された。
• シミュレーションにより、ノイズ分散が適切にスケーリングされた場合、ポアソンに類似したデータと均一分散データの両方でLassoのモデル選択性能が同等であることが確認された。
• 適切な尾部バウンドのもとで、設計行列の部分ベクトルの最大 $ \ell_2 $-ノルムがしきい値を超える確率は指数的に減少し、高確率で $ 1/n $ 以下に抑えられる。
• 固有値集中の結果から、$ q/n \to 0 $ のとき、$ \frac{1}{n} \mathbf{X}^T \mathbf{X} $ が高確率で良好に条件付けられることが示され、一貫性のある推定が可能であることが裏付けられた。
• 解析により、Lassoがポアソンに類似した不均一分散に対して頑健であることが確認され、PET や SPECT などの医療画像応用でこうしたノイズ構造が広く見られる文脈においてもその適用可能性が示唆された。