[論文レビュー] The noise barrier and the large signal bias of the Lasso and other convex estimators

Pierre Bellec|arXiv (Cornell University)|Apr 4, 2018

Statistical Methods and Inference参考文献 5被引用数 10

ひとこと要約

本稿では、Lassoなどの凸推定量の予測誤差を説明するための新しい診断ツールとして、ノイズバリアと大きな信号バイアスを導入する。予測レートが高速であるためには、デザイン行列に対する適合性条件が避けられないことを証明し、チューニングパラメータが臨界閾値に対して相対的にどのようになるかに応じて、Lassoの性能にきわめて明確な段階的転移が生じることを特定する。この結果は、ランダムでデータ駆動型のチューニングパラメータに対しても成立する。

ABSTRACT

Convex estimators such as the Lasso, the matrix Lasso and the group Lasso have been studied extensively in the last two decades, demonstrating great success in both theory and practice. Two quantities are introduced, the noise barrier and the large scale bias, that provides insights on the performance of these convex regularized estimators. It is now well understood that the Lasso achieves fast prediction rates, provided that the correlations of the design satisfy some Restricted Eigenvalue or Compatibility condition, and provided that the tuning parameter is large enough. Using the two quantities introduced in the paper, we show that the compatibility condition on the design matrix is actually unavoidable to achieve fast prediction rates with the Lasso. The Lasso must incur a loss due to the correlations of the design matrix, measured in terms of the compatibility constant. This results holds for any design matrix, any active subset of covariates, and any tuning parameter. It is now well known that the Lasso enjoys a dimension reduction property: the prediction error is of order $λ\sqrt k$ where $k$ is the sparsity; even if the ambient dimension $p$ is much larger than $k$. Such results require that the tuning parameters is greater than some universal threshold. We characterize sharp phase transitions for the tuning parameter of the Lasso around a critical threshold dependent on $k$. If $λ$ is equal or larger than this critical threshold, the Lasso is minimax over $k$-sparse target vectors. If $λ$ is equal or smaller than critical threshold, the Lasso incurs a loss of order $σ\sqrt k$ -- which corresponds to a model of size $k$ -- even if the target vector has fewer than $k$ nonzero coefficients. Remarkably, the lower bounds obtained in the paper also apply to random, data-driven tuning parameters. The results extend to convex penalties beyond the Lasso.

研究の動機と目的

• 高次元スパース線形回帰におけるLassoのような凸推定量の根本的限界を理解すること。
• Lassoが高速な予測レートを達成するためには、デザイン行列に対する適合性条件がなぜ必要不可欠なのかを特定すること。
• チューニングパラメータが臨界閾値に対して相対的にどのようになるかに応じて、Lassoの予測誤差にきわめて明確な段階的転移が生じることを特徴づけること。
• Lassoにとどまらず、核ノルムやグループLassoペナルティを含む凸ペナルティへの分析を拡張すること。
• ランダムでデータ駆動型のチューニングパラメータに対しても、予測誤差の下界が成立することを示すこと。

提案手法

• 予測誤差を特徴付けるために、新たな2つの量、ノイズバリアと大きな信号バイアスを導入する。
• ノイズバリアを用いて予測誤差の下界を導出し、チューニングパラメータが臨界閾値未満にある場合には性能が劣化することを示す。
• デザイン行列の適合性定数が、予測子間の相関に起因する避けられないバイアスを定量化することを確立する。
• ℓ₁ペナルティを用いたLassoにこのフレームワークを適用し、核ノルムおよびグループLassoペナルティを用いた行列およびグループLassoの設定へと拡張する。
• 非線形推定量に適応したバイアス・バリアンス型分解を用い、予測誤差をデザイン行列の構造とチューニングパラメータの選択の観点から解釈可能にする。
• データ駆動型のチューニングパラメータでさえも、臨界閾値未満にある場合には、弱いモーメント条件のもとで同じ下界が成立することを証明する。

実験結果

リサーチクエスチョン

• RQ1 Lassoが高速な予測レートを達成するためには、デザイン行列に対する適合性条件が本当に不可欠なのか？
• RQ2 チューニングパララメータが臨界閾値未満にある場合、Lassoの予測誤差はどのように変化するのか？
• RQ3 ノイズバリアと大きな信号バイアスは、Lassoを越えた凸推定量の性能を理解するために利用可能か？
• RQ4 ランダムでデータ駆動型のチューニングパラメータに対しても、予測誤差の下界が成立するのか？
• RQ5 低ランク行列回復において、核ノルムペナルティ付き推定量の性能は、ペナルティなしの最小二乗推定量と比べてどうなるか？

主な発見

• Lassoが高速な予測レートを達成するためには、デザイン行列に対する適合性条件が避けられない。適合性条件を満たさない場合、バイアスは適合性定数の逆数に比例する。
• Lassoの予測誤差にはきわめて明確な段階的転移が生じる：チューニングパラメータλが臨界閾値未満にある場合、真のベクトルの非ゼロ係数がk個未満であっても、誤差はσ√kのオーダーに達する。
• 弱いモーメント条件を満たすデータ駆動型チューニングパラメータに対しても、期待値が臨界閾値未満にある限り、同じσ√kのオーダーの下界が成立する。
• 核ノルムペナルティ付き推定量は、期待チューニングパラメータがcσ√m/4未満にある場合には、予測誤差の下界がσ√(Tm)のオーダーに達する。これは、このような状況ではペナルティなしの最小二乗推定量と差がないことを示唆する。
• 大きな信号バイアスの下界は、ターゲットベクトルがスパースであっても、チューニングパラメータが適応的に選ばれても、デザイン行列の相関が予測誤差を本質的にペナルティとして与えることを示している。
• これらの結果は、グループLassoや行列Lassoを含む一般の凸ペナルティへと拡張可能であり、ペナルティの構造とデザイン行列の性質に依存する類似の下界が得られる。