[논문 리뷰] Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators

Gil Kur, Fuchang Gao외 2명|arXiv (Cornell University)|2020. 06. 03.

Statistical Methods and Inference참고 문헌 57인용 수 10

한 줄 요약

이 논문은 다차원 볼록 회귀에서 최소제곱추정량(LSE)이 차원 $ d \geq 5 $ 에서 최적성이 떨어지며, 그 위험도 $ n^{-2/d} $ 로 스케일링되나, 최소최대 위험도는 $ n^{-4/(d+4)} $ 임을 규명한다. 저자들은 다각형 영역에서 전체 볼록 LSE에 대해 최초로 악조건 및 적응형 수렴 속도를 도출하고, 볼록 함수에 대한 새로운 거리 엔트로피 경계를 증명하여, 조정이 필요 없고 일致성 있는 LSE라도 고차원에서는 최소최대 속도를 달성하지 못함을 보여준다.

ABSTRACT

Under the usual nonparametric regression model with Gaussian errors, Least Squares Estimators (LSEs) over natural subclasses of convex functions are shown to be suboptimal for estimating a $d$-dimensional convex function in squared error loss when the dimension $d$ is 5 or larger. The specific function classes considered include: (i) bounded convex functions supported on a polytope (in random design), (ii) Lipschitz convex functions supported on any convex domain (in random design), (iii) convex functions supported on a polytope (in fixed design). For each of these classes, the risk of the LSE is proved to be of the order $n^{-2/d}$ (up to logarithmic factors) while the minimax risk is $n^{-4/(d+4)}$, when $d \ge 5$. In addition, the first rate of convergence results (worst case and adaptive) for the unrestricted convex LSE are established in fixed-design for polytopal domains for all $d \geq 1$. Some new metric entropy results for convex functions are also proved which are of independent interest.

연구 동기 및 목표

• 다차원 비모수 회귀에서 가우시안 오차를 가정할 때 볼록 최소제곱추정량(LSE)의 이론적 최적성 여부를 조사하는 것.
• 차원 $ d \geq 5 $ 에서 볼록 회귀에서 LSE가 최소최대 수렴 속도를 달성하는지 여부를 규명하는 것.
• 모든 $ d \geq 1 $ 에 대해 다각형 영역에서 전체 볼록 LSE에 대해 최초로 악조건 및 적응형 수렴 속도를 확립하는 것.
• empirical process 이론에서 별도의 관심을 가진 클래스의 볼록 함수에 대한 새로운 거리 엔트로피 경계를 도출하는 것.

제안 방법

• 저자들은 세 가지 설정에서 볼록 LSE의 위험을 분석한다: (i) 고정 설계 하에서 다각형 영역의 볼록 함수, (ii) 랜덤 설계 하에서 다각형 영역의 유계 볼록 함수, (iii) 임의의 볼록 영역에서 랜덤 설계 하에서 볼록 리프시츠 함수.
• 볼록 함수 클래스의 엔트로피에 대한 하한을 도출하기 위해 거리 엔트로피 기법을 활용하며, 델루드의 엔트로피 적분 및 수도코프의 최소화 원리를 적용한다.
• 핵심 구성은 $ \Omega \subseteq \mathbb{R}^d $ 내의 격자 점 기반의 조각별 애프린 볼록 함수 가중치를 가지며, 참 함수 $ f_0 $ 와의 $ L^2 $-거리가 제어되는 것이다.
• 최적성 부족을 증명하기 위해 유한한 함수 집합 $ \{f_1, \dots, f_N\} $ 을 사용하는 테스팅 추론 기법을 활용하며, 상호 간의 $ \ell_{{\mathbb{P}}_n} $-거리가 아래로 유계이고 균일한 근사 오차가 위로 유계임을 보장한다.
• 허핑스의 부등식을 적용하여 경험적 $ \ell_2 $-손실이 진짜 $ \ell_2 $-손실에서 벗어나지 않도록 제어하고, LSE의 위험 하한을 도출하기 위한 테스팅 프레임워크를 구축한다.
• 저자들은 $ d $-차원 다각형에서 $ L $-리프시츠 볼록 함수의 클래스에 대해 새로운 거리 엔트로피 경계를 도출하여, 엔트로피 복잡도가 $ \epsilon^{-d/2} $ 순서임을 보여준다.

실험 결과

연구 질문

• RQ1 다차원 볼록 회귀에서 $ d \geq 5 $ 에서 볼록 최소제곱추정량(LSE)이 최소최대 최적입니까?
• RQ2 다각형 영역에서 $ d \geq 1 $ 에 대해 전체 볼록 LSE의 수렴 속도는 무엇입니까?
• RQ3 고차원 볼록 회귀에서 LSE의 위험을 최소최대 위험도에 대해 아래로 유계로 둘 수 있습니까?
• RQ4 다양한 $ d $-차원 볼록 영역에서 $ L $-리프시츠 볼록 함수의 클래스에 대한 거리 엔트로피는 무엇입니까?
• RQ5 LSE는 조정이 필요 없고 일치성 있는 데도 불구하고, 최소최대 속도를 달성하지 못합니까?

주요 결과

• $ d \geq 5 $ 에서 볼록 LSE의 위험도 $ \Omega(n^{-2/d}) $ 이며, 최소최대 위험도는 $ O(n^{-4/(d+4)}) $ 이므로, 제곱 오차 손실에서 LSE의 최적성 부족을 증명한다.
• 모든 $ d \geq 1 $ 에 대해 다각형 영역에서 볼록 LSE의 악조건 수렴 속도는 로그 요소를 제외하고 $ n^{-2/d} $ 이다.
• 볼록 LSE의 적응형 수렴 속도 역시 $ n^{-2/d} $ 로 확립되었으며, 이는 악조건 속도와 일치한다.
• 저자들은 $ d $-차원 다각형에서 $ L $-리프시츠 볼록 함수의 클래스에 대해 새로운 거리 엔트로피 경계를 증명하여, 엔트로피 복잡도가 $ \epsilon^{-d/2} $ 임을 보여주며, 이는 로그 요소를 제외하고 최적이다.
• LSE는 세 가지 설정 모두에서 최적성이 떨어짐을 입증했다: (i) 고정 설계 하에서 다각형 영역의 볼록 함수, (ii) 랜덤 설계 하에서 다각형 영역의 유계 볼록 함수, (iii) 임의의 볼록 영역에서 랜덤 설계 하에서 볼록 리프시츠 함수.
• 증명 기법은 $ N \sim \epsilon^{-d/2} $ 개의 함수로 이루어진 유한 집합을 구성하며, 상호 간의 $ \ell_2 $-거리가 $ \geq \epsilon $ 이고 균일한 근사 오차가 $ \leq 4\epsilon $ 이도록 하여, 테스팅 추론 기반 하한을 도출한다.