[논문 리뷰] On Suboptimality of Least Squares with Application to Estimation of Convex Bodies

Gil Kur, Alexander Rakhlin외 1명|arXiv (Cornell University)|2020. 06. 07.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 비-도네스커 영역에서 최소제곱추정(LSE)의 표본 복잡도에 대한 하한을 증명하는 일반적인 기법을 수립하며, 차원 $ d \geq 6 $ 에서 노이즈가 있는 지지함수 측정을 통한 볼록체 추정에서 LSE가 최대리스크 하에서 최적하지 않음을 입증한다. LSE는 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 의 속도를 달성하는 반면, 최대리스크 최적 속도는 $ \Theta_d(n^{-4/(d+3)}) $ 이며, 이는 이 설정에서의 비최적성임을 증명한다.

ABSTRACT

We develop a technique for establishing lower bounds on the sample complexity of Least Squares (or, Empirical Risk Minimization) for large classes of functions. As an application, we settle an open problem regarding optimality of Least Squares in estimating a convex set from noisy support function measurements in dimension $d\\geq 6$. Specifically, we establish that Least Squares is mimimax sub-optimal, and achieves a rate of $\ ilde{\\Theta}_d(n^{-2/(d-1)})$ whereas the minimax rate is $\\Theta_d(n^{-4/(d+3)})$.

연구 동기 및 목표

• 비-도네스커 영역에서 최소제곱추정(LSE)의 표본 복잡도에 대한 하한을 증명하는 일반적인 방법을 개발하는 것.
• 노이즈가 있는 지지함수 측정을 통한 볼록체 추정에서 LSE의 최대리스크 최적성에 대한 열린 문제를 해결하는 것.
• 차원 $ d \geq 6 $ 에서 컴act 볼록체의 지지함수 클래스에 대해 LSE가 명백히 비최적임을 입증하는 것.
• 고정 설계에서 랜덤 설계로의 분석 확장을 제공하여 LSE 성능 평가를 위한 통합 프레임워크를 제공하는 것.

제안 방법

• 메트릭 엔트로피와 엔트로피 수를 사용하여 볼록이고 비-도네스커 함수 클래스에서 LSE 리스크에 대한 일반적인 하한 기법을 유도한다.
• 컴 pact 볼록체의 지지함수 클래스를 $ \mathbb{R}^d $ 에서 분석하고, 이러한 클래스의 엔트로피가 $ \epsilon^{-p} $ 의 형태로 증가하며 $ p > 2 $ 임을 보여준다.
• 반경 투영과 구면 캡을 사용하여 구상에서 지지함수의 메트릭 엔트로피를 분석하고, 구면 면의 균일 측도를 활용한다.
• 조각별 선형 근사와 함께 구면 캡에 $ \epsilon $-넷을 구성하고, Gao와 Wellner(2017)의 결과를 적용하여 엔트로피 수를 유계로 둔다.
• 비-도네스커 영역에서 $ d \geq 6 $ 인 경우 LSE가 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 보다 빠른 속도를 달성할 수 없음을 입증한다.
• 집중 부등식과 구면 캡 내 설계 점의 수에 대한 고확률 유계를 사용하여, 큰 정점이 있는 집합들이 LSE에 의해 선택될 가능성이 낮음을 보여준다.

실험 결과

연구 질문

• RQ1 차원 $ d \geq 6 $ 에서 노이즈가 있는 지지함수 측정을 통한 볼록체 추정에서 최소제곱추정자(LSE)는 최대리스크 최적인가?
• RQ2 비-도네스커 영역에서 컴 pact 볼록체의 지지함수 클래스에 대해 LSE의 수렴 속도는 정확히 얼마인가?
• RQ3 비-도네스커 영역에서 LSE 리스크에 대한 하한을 설정하는 일반적인 기법을 개발할 수 있는가?
• RQ4 자연스러운 비-도네스커 클래스에서 LSE는 최대리스크 속도 $ n^{-2/(2+p)} $ 를 달성하는가, 아니면 느린 $ n^{-1/p} $ 으로 제한되는가?

주요 결과

• 차원 $ d \geq 6 $ 에서 노이즈가 있는 지지함수 측정을 통한 볼록체 추정에서 최소제곱추정자(LSE)는 최대리스크 하에서 비최적이다.
• LSE는 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 의 속도를 달성하며, 이는 최대리스크 최적 속도인 $ \Theta_d(n^{-4/(d+3)}) $ 보다 엄격히 느리다.
• 컴 pact 볼록체의 지지함수 클래스의 엔트로피는 $ \epsilon^{-p} $ 의 형태로 증가하며 $ p > 2 $ 이며, 이는 $ d \geq 6 $ 에서 비-도네스커 영역에 속함을 의미한다.
• 논문은 반경 투영과 조각별 선형 함수를 사용하여 구면 캡에 $ \epsilon $-넷을 구성하여, 메트릭 엔트로피 유계를 통한 엔트로피 추정이 가능하게 한다.
• 고확률적으로 LSE는 정점의 크기가 $ O(d) $ 이하인 볼록집합들만 고려하며, 낮은 가능도를 가진 큰 정점이 있는 집합들은 배제된다.
• 분석을 통해 LSE 리스크는 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 이하로 유계로 둘 수 있으며, 이는 최대리스크 속도 $ \Theta_d(n^{-4/(d+3)}) $ 를 달성할 수 없음을 증명한다.