[論文レビュー] Second order Stein: SURE for SURE and other applications in high-dimensional inference

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|Nov 9, 2018

Groundwater flow and contamination studies参考文献 43被引用数 11

ひとこと要約

本稿は、高次元推定におけるスチューデントの不偏リスク推定（SURE）の分散を特徴付けるために、第二階微分のスチューデントの公式を導入する。本稿では、SUREの分散を推定するための新たな不偏推定量（SURE for SURE）を導出し、lasso やエラスティックネットなどの推定量におけるリスク評価を正確に行えるようにする。この手法は、モデル選択、バイアス補正、信頼領域構築への応用を可能にする。

ABSTRACT

Stein's formula states that a random variable of the form $z^ op f(z) - ext{div} f(z)$ is mean-zero for functions $f$ with integrable gradient. Here, $ ext{div} f$ is the divergence of the function $f$ and $z$ is a standard normal vector. This paper aims to propose a Second Order Stein formula to characterize the variance of such random variables for all functions $f(z)$ with square integrable gradient, and to demonstrate the usefulness of this formula in various applications. In the Gaussian sequence model, a consequence of Stein's formula is Stein's Unbiased Risk Estimate (SURE), an unbiased estimate of the mean squared risk for almost any estimator $\hatμ$ of the unknown mean. A first application of the Second Order Stein formula is an Unbiased Risk Estimate for SURE itself (SURE for SURE): an unbiased estimate {providing} information about the squared distance between SURE and the squared estimation error of $\hatμ$. SURE for SURE has a simple form as a function of the data and is applicable to all $\hatμ$ with square integrable gradient, e.g. the Lasso and the Elastic Net. In addition to SURE for SURE, the following applications are developed: (1) Upper bounds on the risk of SURE when the estimation target is the mean squared error; (2) Confidence regions based on SURE; (3) Oracle inequalities satisfied by SURE-tuned estimates; (4) An upper bound on the variance of the size of the model selected by the Lasso; (5) Explicit expressions of SURE for SURE for the Lasso and the Elastic-Net; (6) In the linear model, a general semi-parametric scheme to de-bias a differentiable initial estimator for inference of a low-dimensional projection of the unknown $β$, with a characterization of the variance after de-biasing; and (7) An accuracy analysis of a Gaussian Monte Carlo scheme to approximate the divergence of functions $f: R^n o R^n$.

研究の動機と目的

• 高次元推定における重要なツールであるSUREの分散を推定するための、スチューデントの公式の第二階微分拡張を構築すること。
• SUREと真の推定リスクの二乗誤差の不偏推定量（SURE for SURE）を提供すること。この推定量は、二階可積分性を持つ勾配を持つすべての推定量に適用可能である。
• 高次元モデルにおける推定の改善を可能とすること。具体的には、信頼領域、モデルサイズの分散バウンド、バイアス補正推定量の構築を含む。
• やや弱い正則性条件のもとで、SUREチューニング推定量のオракル不等式とリスクバウンドを確立すること。
• 線形モデルにおける低次元部分空間への投影に対する、一般化された半パラメトリックなバイアス補正スキームを構築し、分散を特徴付けること。

提案手法

• スチューデントの残差 $ \boldsymbol{z}^\top f(\boldsymbol{z}) - \text{div} f(\boldsymbol{z}) $ の第二モーメントに対する第二階恒等式を導出し、スチューデントの公式を分散推定に拡張する。
• SUREの分散を推定するための不偏推定量（SURE for SURE）を提案。データと推定量の勾配を用いた閉形式表現を用いる。
• 第二階スチューデントの公式を用いて、平均二乗誤差を推定する際のSUREのリスクに対する上界を導出する。
• 公式を用いて、有限標本のもとで有効な真のリスクの信頼領域を構築する。
• 微分可能な初期推定量をもつ線形モデルにおける一般化されたバイアス補正スキームを開発。バイアス補正推定量の分散は第二階スチューデントの公式を用いて特徴付ける。
• ガウス型濃縮とリプシッツ性の議論を用いて、高次元設定におけるSURE for SUREの尾部挙動をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 SUREの分散を不偏に推定することは可能か？ これにより、高次元推定におけるSUREの信頼性を正確に評価できるか？
• RQ2 SUREの推定誤差の分布的挙動は何か？ そして、モデル選択や推定に応用可能な形でどのように定量化できるか？
• RQ3 SURE for SUREを用いて、高次元モデルにおける真のリスクの有効な信頼領域を構築できるか？
• RQ4 lasso やエラスティックネットのようなSUREチューニング推定量について、やや弱い正則性仮定のもとで有限標本リスクバウンドは得られるか？
• RQ5 線形モデルにおける低次元部分空間への投影に対して、一般化された半パラメトリックなバイアス補正手順を構築可能か？ また、その分散は第二階スチューデントの公式を用いて定量化可能か？

主な発見

• SURE for SUREは、SUREと真の推定リスクの二乗距離の不偏推定量であり、データと推定量の勾配を用いた簡単な閉形式表現を持つ。
• 本手法により、lassoが選択するモデルサイズの分散に対する上界が得られ、一般に凸型ペナルティ付き推定量の経験的自由度に対しても同様の上界が得られる。
• lasso およびエラスティックネットに対して、SURE for SUREの明示的表現が導出され、実用的実装とリスク評価が可能になる。
• 推定量の勾配にやや弱いリプシッツ条件が成り立つ場合に、SUREチューニング推定量のオラクル不等式が確立される。
• 線形モデルにおける低次元部分空間への投影に対して、一般化された半パラメトリックなバイアス補正スキームが提案され、バイアス補正推定量の分散は第二階スチューデントの公式を完全に特徴づけている。
• 発散のガウス型モンテカルロ近似が精度よく、第二階スチューデントの公式を用いて理論的誤差バウンドが導出された。