[논문 리뷰] Multivariate convex regression: global risk bounds and adaptation

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|2016. 01. 25.

Statistical Methods and Inference참고 문헌 65인용 수 36

한 줄 요약

이 논문은 랜덤 설계 하에서 다변량 볼록 회귀에 대해 전역 위험 경계와 적응성 성질을 수립하며, 부드러운 볼록 체적의 경우 최소 최대 위험은 $ n^{-2/(d+1)} $ 이고, 다면체 지지체의 경우 경계 추정 과제로 인해 $ n^{-4/(d+4)} $ 임을 보여준다. 유계 최소 제곱 추정기(BLSE)와 모델 선택 기반의 스크린 적응 추정기(SAE)를 제안하여 거의 최적의 속도를 달성하며, BLSE는 낮은 차원에서 다면체 함수에 거의 파라미터 기반 적응성을 보이고, SAE는 규칙적인 볼록 함수 클래스 전반에서 거의 최적의 속도를 달성한다.

ABSTRACT

We study the problem of estimating a multivariate convex function defined on a convex body in a regression setting with random design. We are interested in optimal rates of convergence under a squared global continuous $l_2$ loss in the multivariate setting $(d\geq 2)$. One crucial fact is that the minimax risks depend heavily on the shape of the support of the regression function. It is shown that the global minimax risk is on the order of $n^{-2/(d+1)}$ when the support is sufficiently smooth, but that the rate $n^{-4/(d+4)}$ is when the support is a polytope. Such differences in rates are due to difficulties in estimating the regression function near the boundary of smooth regions. We then study the natural bounded least squares estimators (BLSE): we show that the BLSE nearly attains the optimal rates of convergence in low dimensions, while suffering rate-inefficiency in high dimensions. We show that the BLSE adapts nearly parametrically to polyhedral functions when the support is polyhedral in low dimensions by a local entropy method. We also show that the boundedness constraint cannot be dropped when risk is assessed via continuous $l_2$ loss. Given rate sub-optimality of the BLSE in higher dimensions, we further study rate-efficient adaptive estimation procedures. Two general model selection methods are developed to provide sieved adaptive estimators (SAE) that achieve nearly optimal rates of convergence for particular "regular" classes of convex functions, while maintaining nearly parametric rate-adaptivity to polyhedral functions in arbitrary dimensions. Interestingly, the uniform boundedness constraint is unnecessary when risks are measured in discrete $l_2$ norms.

연구 동기 및 목표

• 랜덤 설계 회귀에서 $ L^2 $ 위험 하에 다변량 볼록 함수를 추정할 때의 수렴 최적 속도를 결정하기 위해.
• 지지체의 기하학적 구조(부드럽고 다면체)가 고차원에서 최소 최대 위험에 어떻게 영향을 미치는지 분석하기 위해.
• 유계 최소 제곱 추정기(BLSE)의 성능을 평가하고 거의 최적의 속도를 달성하는 적응 추정 절차를 개발하기 위해.
• 연속적 $ L^2 $ 위험과 이산적 $ L^2 $ 위험에 따라 균일한 유계 조건이 필요하거나 불필요한 조건을 설정하기 위해.
• 노이즈가 있는 지지 함수 측정치로부터 알려지지 않은 볼록 집합을 추정하는 데로 결과를 확장하기 위해.

제안 방법

• 지지체의 곡률과 경계 구조에 따라 의존하는 엔트로피와 볼록 기하학 기법을 사용하여 전역 최소 최대 위험 상한과 하한을 유도한다.
• 국소 엔트로피 방법을 통해 유계 최소 제곱 추정기(BLSE)를 분석하여 낮은 차원에서 다면체 함수에 거의 파라미터 기반 적응성을 보임을 보여준다.
• 일반적인 모델 선택 절차 두 가지—L-적응형과 P-적응형—을 제안하여 스크린 적응 추정기(SAE)를 구성하여 규칙적인 볼록 함수 클래스에 대해 거의 최적의 속도를 달성한다.
• 경제적 커버링 캡 정리와 습윤 부분의 부피 추정치 $ \bigl|\Omega(t)\bigr| $ 를 사용하여 경계 행동과 엔트로피 수를 제어한다.
• 균일한 유계 조건은 연속적 $ L^2 $ 위험 평가에서는 필수적이지만 이산적 $ L^2 $ 위험에서는 불필요하며, 이는 효율적인 속도 추정을 가능하게 한다.
• 이 프레임워크를 노이즈가 있는 지지 함수 측정치로부터 알려지지 않은 볼록 집합을 추정하는 데 적용하여 거의 최적의 적응 추정기를 도출한다.

실험 결과

연구 질문

• RQ1 지지체가 부드럽고 다면체일 경우 다변량 볼록 회귀의 수렴 최적 속도는 각각 어떻게 되는가?
• RQ2 유계 최소 제곱 추정기(BLSE)는 다양한 차원 범위와 지지체 기하학에서 거의 최적의 속도를 달성할 수 있는가?
• RQ3 지지체의 기하학, 특히 곡률과 경계 구조는 다변량 볼록 회귀에서 최소 최대 위험에 어떻게 영향을 미치는가?
• RQ4 연속적 $ L^2 $ 손실에서 위험 제어를 위해 균일한 유계 조건이 필요한 조건은 무엇인가?
• RQ5 모델 선택 방법을 사용하여 규칙적인 볼록 함수와 다면체 함수 양쪽 모두에 대해 거의 최적의 속도를 달성하는 적응 추정기를 구성할 수 있는가?

주요 결과

• 부드러운 볼록 체적의 경우 전역 최소 최대 위험은 $ n^{-2/(d+1)} $ 이고, 다면체 지지체의 경우 $ n^{-4/(d+4)} $ 이며, 이는 경계 추정 곤란성의 영향을 반영한다.
• 유계 최소 제곱 추정기(BLSE)는 낮은 차원에서 거의 최적의 속도를 달성하지만 고차원에서는 속도 효율성이 떨어진다.
• 국소 엔트로피 방법을 통해 BLSE는 낮은 차원에서 다면체 함수에 거의 파라미터 기반 적응성을 보이며 $ n^{-4/(d+4)} $ 속도를 달성한다.
• 연속적 $ L^2 $ 손실로 위험을 평가할 경우 균일한 유계 조건을 생략할 수 없지만, 이산적 $ L^2 $ 노름에서는 불필요하다.
• 규칙적인 볼록 함수 클래스에 대해 거의 최적의 속도를 달성하고, 임의의 차원에서 다면체 함수에 거의 파라미터 기반 적응성을 보이는 두 가지 모델 선택 기반의 스크린 적응 추정기(SAE)를 개발하였다.
• 부가적인 결과로, 임의의 차원에서 노이즈가 있는 지지 함수 측정치로부터 알려지지 않은 볼록 집합을 거의 최적의 속도로 적응적으로 추정할 수 있다.