[논문 리뷰] Interplay of minimax estimation and minimax support recovery under sparsity

Mohamed Ndaoud|arXiv (Cornell University)|2018. 10. 12.

Control Systems and Identification참고 문헌 5인용 수 6

한 줄 요약

이 논문은 고차원 희소 선형 회귀에서 스케일링된 최소최대 추정의 새로운 개념을 제안하며, 신호 대 잡음 비율 스케일 $ a $ 가 고정되어 있을 때 기존 최소최대 경계보다 추정 오차가 크게 작아질 수 있음을 보여준다. 더 날카운 하한 경계를 확립하고, $ \sigma^2 s $ 위험을 달성하는 최적의 추정기 구축하며, 정확한 지지 집합 복원이 정확한 추정을 위해 필수적이지 않음을 증명하고, 다양한 스케일에서 최소최대 최적성을 달성하는 적응형 절차를 개발한다.

ABSTRACT

In this paper, we study a new notion of scaled minimaxity for sparse estimation in high-dimensional linear regression model. We present more optimistic lower bounds than the one given by the classical minimax theory and hence improve on existing results. We recover sharp results for the global minimaxity as a consequence of our study. Fixing the scale of the signal-to-noise ratio, we prove that the estimation error can be much smaller than the global minimax error. We construct a new optimal estimator for the scaled minimax sparse estimation. An optimal adaptive procedure is also described.

연구 동기 및 목표

• 신호 스케일 $ a $ 를 고정함으로써 희소 추정에 대한 보다 정교한 최소최대 이론을 개발하여, 기존 최소최대 이론보다 더 낙관적인 오차 경계를 도출한다.
• 고차원 모형에서 정확한 추정(즉, $ \sigma^2 s $ 위험)을 달성하기 위해 정확한 지지 집합 복원이 필수적인가를 조사한다.
• 스케일링된 최소최대 위험 $ \phi(s,a) $ 를 위한 최적의 추정기를 구축하고, 알려지지 않은 신호 스케일에 대해 최소최대 최적성을 달성하는 적응형 절차를 개발한다.
• 희소성 하에서 최소최대 추정 위험과 최소최대 지지 집합 복원 위험 간의 상호작용을 명확히 하며, 특히 $ s/p \to 0 $ 인 고차원 영역에서의 특성을 분석한다.

제안 방법

• 신호 크기 $ a $ 를 고정함으로써 더 날카운 하한 경계를 제공하는 스케일링된 최소최대 위험 $ \phi(s,a) = \inf_{\hat{\beta}} \sup_{\beta \in \Omega^{p}_{s,a}} \mathbb{E}_{\beta} \| \hat{\beta} - \beta \|^2 $ 을 도입한다.
• 추정 위험에 대한 새로운 하한 경계를 유도하여 $ \sigma^2 s $ 를 보이며, 지지 집합이 알려져 있을 경우 이 경계가 달성 가능하다는 것을 보이고, 이 경계가 고전적 전역 최소최대 속도 $ 2\sigma^2 s \log(p/s) $ 보다 엄격히 작다는 것을 증명한다.
• 관측값 $ Y_i $ 를 수준 $ t(a) $ 에서 이산화함으로써 $ a $ 가 고정되어 있을 때 $ \sigma^2 s $ 위험을 달성하는 새로운 추정기 $ \hat{\beta}^a $ 를 제안하고, 농도 및 모멘트 경계를 통해 그 최적성을 증명한다.
• 적절한 조정을 가진 SLOPE 추정기로 스케일링된 최소최대 위험을 달성할 수 있음을 증명하고, 데이터 기반의 이산화 규칙을 사용하여 알려지지 않은 $ a $ 에 대해 최적의 성능을 보이는 적응형 절차를 구축한다.
• 가우시안 尾 꼬리 경계와 모멘트 부등식을 사용하여 추정기의 $ L_q $-위험을 제어하며, $ q \geq 1 $ 에 대해 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $ 를 보인다.
• 제안된 추정기가 $ \hat{S}_\beta = S_\beta $ 가 필요 없이도 $ \sigma^2 s $ 위험을 달성할 수 있음을 보여, 정확한 지지 집합 복원이 정확한 추정을 위해 필수적이지 않음을 증명한다.

실험 결과

연구 질문

• RQ1 고전적 전역 최소최대 경계 $ 2\sigma^2 s \log(p/s) $ 는 얼마나 낙관적이지 않은가? 그리고 신호 스케일 $ a $ 를 고정함으로써 더 낮은 위험을 달성할 수 있는가?
• RQ2 정확한 지지 집합 복원은 $ \sigma^2 s $ 추정 위험을 달성하기 위한 필수 조건인가, 아니면 이를 달성할 수 있는가?
• RQ3 알려지지 않은 $ a $ 를 알지 못한 채 스케일링된 최소최대 위험 $ \phi(s,a) $ 를 달성하는 적응형 추정기를 구축할 수 있는가?
• RQ4 희소성 하에서 최소최대 추정 위험과 최소최대 지지 집합 복원 위험 간의 정밀한 상호작용은 무엇인가?

주요 결과

• 스케일링된 최소최대 위험 $ \phi(s,a) $ 는 $ \sigma^2 s $ 로 하한 경계가 있으며, 이 경계는 날카로운데, 고정된 $ a $ 에 대해 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|^2 \leq (1+o(1)) \sigma^2 s $ 를 만족하는 추정기가 존재한다.
• 고전적 전역 최소최대 경계 $ 2\sigma^2 s \log(p/s) $ 는 스케일링된 최소최대 위험보다 엄격히 크며, 이는 $ a $ 가 고정되어 있을 때 고전적 경계가 낙관적이지 않다는 것을 보여준다.
• 정확한 지지 집합 복원은 정확한 추정을 위해 필수적이지 않다: 제안된 추정기는 $ \hat{S}_\beta = S_\beta $ 가 필요 없이도 $ \sigma^2 s $ 위험을 달성한다.
• 알려지지 않은 $ a $ 에 대해 $ \phi(s,a) $ 에 대해 최소최대 최적성을 달성하는 적응형 절차를 개발하였으며, 이는 데이터 기반의 이산화 규칙을 사용함으로써 $ a $ 를 사전에 알 필요 없이도 가능하다.
• $ q \geq 1 $ 에 대해 추정기의 $ L_q $-위험은 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $ 를 만족하며, 상수의 상한까지 하한 경계와 일치한다.
• $ a \leq a_q(1) $ 일 때, $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q $ 의 하한 경계는 최소 $ \frac{1}{4} \Phi_o(a)(1+o(1)) $ 이며, 이는 $ a $ 가 작을 경우 위험이 $ \sigma^2 s $ 보다 엄격히 크다는 것을 보여주지만, 여전히 전역 최소최대 속도보다 향상된 성능을 보인다.