[論文レビュー] Interplay of minimax estimation and minimax support recovery under sparsity

Mohamed Ndaoud|arXiv (Cornell University)|Oct 12, 2018

Control Systems and Identification参考文献 5被引用数 6

ひとこと要約

この論文は、高次元スパース線形回帰におけるスケーリングされたミニマックス推定の新しい概念を導入し、信号対雑音比のスケール $ a $ が固定されているとき、推定誤差が古典的なミニマックス境界よりも著しく小さくなることを示している。よりタイトな下界を確立し、$ \sigma^2 s $ のリスクを達成する最適な推定量を構築し、正確なサポート回復が正確な推定を達成するために必要ではないことを証明している。また、スケールにわたるミニマックス最適性を達成する適応的手法を提案している。

ABSTRACT

In this paper, we study a new notion of scaled minimaxity for sparse estimation in high-dimensional linear regression model. We present more optimistic lower bounds than the one given by the classical minimax theory and hence improve on existing results. We recover sharp results for the global minimaxity as a consequence of our study. Fixing the scale of the signal-to-noise ratio, we prove that the estimation error can be much smaller than the global minimax error. We construct a new optimal estimator for the scaled minimax sparse estimation. An optimal adaptive procedure is also described.

研究の動機と目的

• 信号スケール $ a $ を固定することで、スパース推定のための洗練されたミニマックス理論を構築し、古典的なミニマックス理論よりも楽観的な誤差境界を導く。
• 高次元モデルにおいて、正確な推定（すなわち、$ \sigma^2 s $ のリスク）を達成するためには正確なサポート回復が必要かどうかを調査する。
• スケーリングされたミニマックスリスク $ \phi(s,a) $ に対する最適な推定量を構築し、未知の信号スケールにわたってミニマックス最適性を達成する適応的手順を開発する。
• 特に $ s/p \to 0 $ となる高次元領域において、ミニマックス推定リスクとミニマックスサポート回復リスクの間の相互作用を明確にする。

提案手法

• 信号の大きさ $ a $ を固定することで、よりタイトな下界をもたらす、スケーリングされたミニマックスリスク $ \phi(s,a) = \inf_{\hat{\beta}} \sup_{\beta \in \Omega^{p}_{s,a}} \mathbb{E}_{\beta} \| \hat{\beta} - \beta \|^2 $ を導入する。
• 推定リスクのための新しい下界を導出し、$ \sigma^2 s $ であることを示し、サポートが既知のときこの境界が達成可能であり、古典的なグローバルミニマックスレート $ 2\sigma^2 s \log(p/s) $ よりも厳密に小さいことを示す。
• 観測値 $ Y_i $ をレベル $ t(a) $ でしきい値処理する手法に基づき、固定された $ a $ に対して $ \sigma^2 s $ のリスクを達成する新しい推定量 $ \hat{\beta}^a $ を提案し、集中とモーメントの境界を用いてその最適性を証明する。
• 適切にチューニングされた SLOPE 推定量がスケーリングされたミニマックスリスクを達成できることを確立し、データ駆動のしきい値ルールを用いて、未知の $ a $ にわたって最適に動作する適応的手順を構築する。
• ガウス尾部の境界とモーメント不等式を用いて推定量の $ L_q $-リスクを制御し、$ q \geq 1 $ に対して $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $ を示す。
• 正確なサポート回復が正確な推定のために必要でないことを証明し、提案された推定量が $ \hat{S}_\beta = S_\beta $ を要求しないまま $ \sigma^2 s $ のリスクを達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的なグローバルミニマックス境界 $ 2\sigma^2 s \log(p/s) $ はどれほど楽観的でないのか？ 信号スケール $ a $ を固定することで、より良いリスクを達成できるか？
• RQ2 正確なサポート回復は、$ \sigma^2 s $ の推定リスクを達成するための必要条件か？ それとも、それを必要とせずに達成可能か？
• RQ3 信号スケール $ a $ の事前知識なしに、スケーリングされたミニマックスリスク $ \phi(s,a) $ を達成する適応推定量を構築できるか？
• RQ4 スパarsity下で、ミニマックス推定リスクとミニマックスサポート回復リスクの正確な相互作用は何か？

主な発見

• スケーリングされたミニマックスリスク $ \phi(s,a) $ は $ \sigma^2 s $ で下界づけられ、この境界は鋭い：固定された $ a $ に対して、$ \mathbb{E}_\beta \| \hat{\beta} - \beta \|^2 \leq (1+o(1)) \sigma^2 s $ を満たす推定量が存在する。
• 古典的なグローバルミニマックス境界 $ 2\sigma^2 s \log(p/s) $ は、スケーリングされたミニマックスリスクよりも厳密に大きい。これは、$ a $ が固定されているとき、古典的境界が楽観的であることを示している。
• 正確なサポート回復は正確な推定のために必要ではない：提案された推定量は $ \hat{S}_\beta = S_\beta $ を要求しないまま $ \sigma^2 s $ のリスクを達成する。
• データ駆動のしきい値ルールを用いることで、$ a $ の知識なしに $ \phi(s,a) $ にわたるミニマックス最適性を達成する適応的手順が構築された。
• $ q \geq 1 $ に対して、推定量の $ L_q $-リスクは $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $ を満たし、定数の違いを除いて下界と一致する。
• $ a \leq a_q(1) $ のとき、$ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q $ の下界は $ \frac{1}{4} \Phi_o(a)(1+o(1)) $ 以上である。これは、$ a $ が小さいとき、リスクが $ \sigma^2 s $ よりも厳密に大きいことを示しているが、依然としてグローバルミニマックスレートを改善している。