[論文レビュー] Optimistic lower bounds for convex regularized least-squares

Pierre Bellec|arXiv (Cornell University)|Mar 3, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用数 6

ひとこと要約

本稿では、凸正則化最小二乗推定量における「楽観的下界」を導入し、最悪ケースに限らない任意の目的ベクトルに対して適用可能な予測誤差の境界を提供する。予測誤差を変分関数 F, G, H を用いて特徴づけることで、データに依存するタイトな下界・上界が得られ、Lasso への応用ではユニバーサルチューニングにおける一致する境界と、小さなチューニングパラメータに対する新たな下界が得られる。

ABSTRACT

Minimax lower bounds are pessimistic in nature: for any given estimator, minimax lower bounds yield the existence of a worst-case target vector $β^*_{worst}$ for which the prediction error of the given estimator is bounded from below. However, minimax lower bounds shed no light on the prediction error of the given estimator for target vectors different than $β^*_{worst}$. A characterization of the prediction error of any convex regularized least-squares is given. This characterization provide both a lower bound and an upper bound on the prediction error. This produces lower bounds that are applicable for any target vector and not only for a single, worst-case $β^*_{worst}$. Finally, these lower and upper bounds on the prediction error are applied to the Lasso is sparse linear regression. We obtain a lower bound involving the compatibility constant for any tuning parameter, matching upper and lower bounds for the universal choice of the tuning parameter, and a lower bound for the Lasso with small tuning parameter.

研究の動機と目的

• 最小最大下界が最悪ケースの性能にしか対応しないという限界を克服し、任意の目的ベクトルに適用可能な境界を構築すること。
• 凸正則化最小二乗推定量の予測誤差を特徴づける統一的な変分フレームワークを提供すること。
• 最悪ケースに限らない、すべての目的ベクトルに対して有効なタイトな予測誤差の下界・上界を導出すること。
• スパース線形回帰におけるLassoにこのフレームワークを適用し、チューニングパrameterの異なる領域における性能に関する新たな知見をもたらすこと。
• ガウスノイズ下での予測誤差の集中性を確立し、確率的保証を可能にすること。

提案手法

• 推定量の誤差と最大化問題を結びつける関数 $ F(t) = \sup_{\|\mathbf{X}(\beta - \beta^*)\| \leq t} \left( \varepsilon^T \mathbf{X}(\beta - \beta^*) - h(\beta) \right) - t^2/2 $ を用いた予測誤差の変分的特徴づけを導入する。
• 真の予測誤差 $ \|\mathbf{X}(\hat{\beta} - \beta^*)\| $ が $ F(t) $ のほとんど確実な最大化者であることを確立し、最適化手法の適用を可能にする。
• 強い強凸性およびリプシッツ性の性質を活用して、上界・下界を導出するための補助関数 $ G $ と $ H $ を定義する。
• ガウスノイズに対するリプシッツ関数の集中不等式を用いて、特に標準正規ノイズ下で予測誤差の確率的境界を導出する。
• Lasso への適用において、適合性定数を分析し、ユニバーサルチューニングパラメータ選択における既知の上界と一致する境界を導出する。
• メジアンに基づく議論とユニオンバウンズを用いて、予測誤差がそのメジアンに近い事象が正の確率を持つことを示し、非漸近的保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースに限らない、任意の目的ベクトル $ \beta^* $ に対して有効な、凸正則化最小二乗推定量の予測誤差の下界を導出できるか？
• RQ2 ノイズとデザイン行列に依存する変分関数を用いて、凸正則化推定量の予測誤差をどのように特徴づけられるか？
• RQ3 これらの楽観的下界は、スパース線形回帰におけるLassoの性能にどのような意味を持つのか。特に、小さなチューニングパラメータとユニバーサルチューニングパラメータの領域において。
• RQ4 標準正規ノイズ下で、提案されたフレームワークを用いて予測誤差の集中性を確立できるか？
• RQ5 提案された楽観的下界は、既存の最小最大下界と比べて、タイトさと適用範囲の点でどのように優れているか？

主な発見

• 予測誤差 $ \|\mathbf{X}(\hat{\beta} - \beta^*)\| $ は、確率1で関数 $ F(t) $ の最大化者であるため、誤差の変分的特徴づけが可能になる。
• 任意の目的ベクトル $ \beta^* $ に対して、本フレームワークは下界と上界の両方を提供し、最悪ケースの $ \beta^*_{\text{worst}} $ のみを考慮する最小最大境界を上回る。
• ユニバーサルチューニングパラメータを用いたLassoに対しては、楽観的下界が既知の上界と一致し、境界のタイトさを示している。
• 小さなチューニングパラメータにおけるLassoに対して、新たな下界を導出し、これは空虚でなく、最悪ケースを越えた適用が可能である。
• ガウスノイズ下では、予測誤差はそのメジアンのまわりに集中し、フレームワークにより $ |\sqrt{m} - \sqrt{t_f}| \leq \sqrt{21\sigma/2} $ の形の高確率境界が正の確率で得られる。
• Chatterjee (2014) の命題1.3に比べ、関連する不等式における定数係数を1から1/2に削減することで、先行研究を改善している。