[論文レビュー] Towards the study of least squares estimators with convex penalty

Pierre Bellec, Guillaume Lecué+1 more|arXiv (Cornell University)|Jan 31, 2017

Sparse and Compressive Sensing Techniques参考文献 19被引用数 7

ひとこと要約

本稿は、凸罰則を伴う最小二乗推定量の改善された理論的枠組みを構築し、従来のオラクル不等式理論の限界を克服する。確率的依存性のない明示的で明確な境界を可能にするとともに、ヒルバート空間への応用を可能にする。LASSO や核ノルム罰則付き行列回帰などの推定量に対して、洗練された確率的誤差制御と小球法を用いて鋭いオラクル不等式を確立する。

ABSTRACT

Penalized least squares estimation is a popular technique in high-dimensional statistics. It includes such methods as the LASSO, the group LASSO, and the nuclear norm penalized least squares. The existing theory of these methods is not fully satisfying since it allows one to prove oracle inequalities with fixed high probability only for the estimators depending on this probability. Furthermore, the control of compatibility factors appearing in the oracle bounds is often not explicit. Some very recent developments suggest that the theory of oracle inequalities can be revised in an improved way. In this paper, we provide an overview of ideas and tools leading to such an improved theory. We show that, along with overcoming the disadvantages mentioned above, the methodology extends to the hilbertian framework and it applies to a large class of convex penalties. This paper is partly expository. In particular, we provide adapted proofs of some results from other recent work.

研究の動機と目的

• 罰則付き最小二乗推定量の既存のオラクル不等式理論の限界、特に信頼水準に依存する点および暗黙的な適合要因の点を是正する。
• LASSO やグループ LASSO、核ノルム罰則など、広範な凸罰則クラスに適用可能な統一的枠組みを提供する。
• 無限次元および構造的推定問題への応用を可能にするヒルバート空間フレームワークへの理論の拡張。
• 適合定数の暗黙的性を克服し、小球法と洗練された確率的誤差バウンドを用いて明示的制御を導入する。
• 最近の結果の適応的証明を含む、自己完結的かつ解説的な取り扱いを提供し、アクセシビリティと再現性を向上させる。

提案手法

• 解のリプシッツ性とガウス濃度の性質に基づく確率的誤差項の洗練された分析を用い、信頼水準に依存しない高確率的境界を可能にする。
• 小球法を用いて適合定数を明示的に制御し、特に ℓ1 ノルムや核ノルムのようなノルムに対して鋭いオラクル不等式を導出する。
• パラメータ空間全体にわたる一様制御を可能にする、確率的誤差に関する還元補題を導入する。
• サブガウス設計仮定から導かれる明示的バウンドを用いて、制限固有値（適合）条件を定量的に扱う。
• ガウス幅およびメトリックエントロピー技術を用いて、特に行列推定設定において、妥当解集合の複雑さを制御する。
• 小球仮定と設計の幾何学的性質との関係を確立し、設計分布に基づいた小球パラメータの明示的パrameterization を可能にする。

実験結果

リサーチクエスチョン

• RQ1 凸罰則付き最小二乗推定量のオラクル不等式は、確率的依存性のない明示的定数を用いて導出可能か？
• RQ2 一般の凸罰則に対して、古典的オラクル不等式における適合定数を明示的かつ計算可能なものにできるか？
• RQ3 罰則付き最小二乗推定理論は、一般の凸罰則を用いて無限次元ヒルバート空間へどの程度拡張可能か？
• RQ4 信頼水準に依存しない高確率的オラクル不等式を導出でき、リスクのモーメントバウンドを可能にするか？
• RQ5 小球法は、確率的誤差の分析を精緻化し、予測誤差および推定誤差のレートを向上させる役割を果たすか？

主な発見

• 本稿は、行列回帰における核ノルム罰則付き最小二乗推定量について、明示的定数を伴い、暗黙の適合要因を含まない高確率的オラクル不等式を確立した。
• i.i.d. ガウス設計の下で、核ノルム推定量の予測誤差は、対数項を除き $ \sigma^2 \cdot \mathrm{rank}(A^*) \cdot \frac{k+m}{n} $ のオーダーのレートを満たすオラクル不等式を満たす。
• 核ノルムにおける推定誤差は、高確率的に $ \|\hat{A} - A^*\|_* \leq C_4 \sigma \left( s\sqrt{\frac{k+m}{n}} + \frac{(\Phi^{-1}(1-\delta))^2}{\sqrt{(k+m)n}} \right) $ を満たす。
• 境界導出における信頼水準依存性を排除することで、古典的手法に比べてより良いレートを達成する。
• 小球法により、核ノルムに対する適合定数を明示的に制御でき、行列推定においてより鋭いバウンドをもたらす。
• 本フレームワークは広範な凸罰則クラスに適用可能であり、ヒルバート空間値パラメータへ拡張可能であり、有限次元モデルの結果を一般化する。