[論文レビュー] Spectral Deconfounding via Perturbed Sparse Linear Models

Domagoj Ćevid, Peter Bühlmann+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference参考文献 33被引用数 18

ひとこと要約

本稿では、観測されない交絡要因を伴う高次元線形モデルにおけるLasso推定を改善するスペクトル的手法を提案する。この手法は、摂動を加えたスパース線形モデルの枠組みを用い、特に新規のTrim変換を含むスペクトル変換により設計行列を変換することで、交絡が存在する状況下でも最適なLasso $β$-推定誤差率を達成する。有限標本において、標準的なPCA補正やPuffer変換を上回る性能を示す。

ABSTRACT

Standard high-dimensional regression methods assume that the underlying coefficient vector is sparse. This might not be true in some cases, in particular in presence of hidden, confounding variables. Such hidden confounding can be represented as a high-dimensional linear model where the sparse coefficient vector is perturbed. For this model, we develop and investigate a class of methods that are based on running the Lasso on preprocessed data. The preprocessing step consists of applying certain spectral transformations that change the singular values of the design matrix. We show that, under some assumptions, one can achieve the optimal $\ell_1$-error rate for estimating the underlying sparse coefficient vector. Our theory also covers the Lava estimator (Chernozhukov et al. [2017]) for a special model class. The performance of the method is illustrated on simulated data and a genomic dataset.

研究の動機と目的

• 観測されない交絡要因が存在する高次元回帰の課題に対処すること。交絡は、本来スパースな係数ベクトルに密集した摂動を引き起こす。
• 交絡が存在する状況下で標準的なLassoの限界を克服すること。これは、誤った相関が原因で推定と変数選択が悪化するためである。
• 設計行列の特異値を再重み付けすることで交絡を除去する、一般化されたスペクトル変換の枠組みを構築すること。
• 交絡が存在する状況下でも、真の係数ベクトルが正確にスパースでない場合でさえも、最適なLasso $β$-推定誤差率を達成する理論的裏付けを提供すること。
• 提案手法、特にTrim変換が、PCAベースの補正と異なり事前に交絡成分の数を指定する必要がないことを示すこと。

提案手法

• 設計行列 $X$ と応答ベクトル $Y$ を事前に処理するために、スペクトル変換行列 $F$ を適用し、$X$ の特異値を変更しながらその列空間構造を保持する。
• 変換 $F$ は大きな特異値を圧縮するように構築され、Trim変換が特異値がしきい値を超えるものをゼロに設定する新規な手法として導入される。
• 変換されたデータ $(F Y, F X)$ をLassoに供給し、スペクトル前処理が交絡に起因する相関の影響を軽減できることを活用する。
• 理論的分析は、適合性条件と集中不等式に依拠し、変換後の設計行列が高次元推定に適した性質を保つことを示す。
• この手法が特定のモデルクラスにおいてLava推定量と等価であることが示され、その理論的裏付けが拡張される。
• 理論的保証は、確率的行列理論と変換後の設計行列の適合性定数の境界を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 設計行列のスペクトル変換により、交絡が存在する状況下でも最適なLasso $β$-推定誤差率を回復できるか？
• RQ2 提案されたスペクトル的手法の性能は、標準的なPCA補正やPuffer変換と比較してどうなるか？
• RQ3 Trim変換は、PCAベースの手法で求められるように、交絡成分の数を事前に指定する必要がないか？
• RQ4 変換後の設計行列の適合性定数が高確率でゼロから離れているのはどのような条件下か？ これにより一貫性のある推定が保証される。
• RQ5 提案された枠組みは、Lava推定量といった既存手法と理論的に結びつけることができるか？

主な発見

• Trim変換は、交絡が存在する状況下でも、スパースモデルのミニマックスレートに一致する最適なLasso $β$-推定誤差率を達成する。
• 有限標本において、Puffer変換を上回る性能を示す。特に標本サイズが予測変数の数に近い場合に顕著である。
• 理論的分析により、変換後の設計行列の適合性定数が高確率でゼロから離れていることが示され、一貫性のある推定が可能となる。
• Trim変換は、PCAベースの補正とは異なり、交絡成分の数を推定する必要がない。これは大きな実用的利点である。
• 特定のモデルクラスにおいて、この手法はLava推定量と理論的に等価であることが示され、スペクトル枠組みにおけるLavaの新たな解釈と裏付けが得られる。
• シミュレーションおよびゲノムデータにおける実験結果から、交絡が存在する状況下でも、特に交絡成分の数が不明な場合に、変数選択と推定精度が向上することが確認された。