[논문 리뷰] Isotonic regression in general dimensions

Qiyang Han, Tengyao Wang외 2명|arXiv (Cornell University)|2017. 08. 30.

Statistical Methods and Inference참고 문헌 51인용 수 20

한 줄 요약

이 논문은 고정 격자 및 랜덤 설계 하에서 일반적인 차원 d ≥ 3에서 등온 회귀의 최소최대 최적 속도를 확립한다. 최소제곱 추정량이 경험적 L² 손실에서 순서 n^{-min(2/(d+2), 1/d)}의 속도를 달성함을 증명하며, 진짜 함수가 k개의 초직사각형으로 이루어진 조각별로 상수인 경우, 다항로그 인자들을 제외하고 (k/n)^{min(1,2/d)}의 적응적 속도를 달성한다.

ABSTRACT

We study the least squares regression function estimator over the class of real-valued functions on $[0,1]^d$ that are increasing in each coordinate. For uniformly bounded signals and with a fixed, cubic lattice design, we establish that the estimator achieves the minimax rate of order $n^{-\min\{2/(d+2),1/d\}}$ in the empirical $L_2$ loss, up to poly-logarithmic factors. Further, we prove a sharp oracle inequality, which reveals in particular that when the true regression function is piecewise constant on $k$ hyperrectangles, the least squares estimator enjoys a faster, adaptive rate of convergence of $(k/n)^{\min(1,2/d)}$, again up to poly-logarithmic factors. Previous results are confined to the case $d \leq 2$. Finally, we establish corresponding bounds (which are new even in the case $d=2$) in the more challenging random design setting. There are two surprising features of these results: first, they demonstrate that it is possible for a global empirical risk minimisation procedure to be rate optimal up to poly-logarithmic factors even when the corresponding entropy integral for the function class diverges rapidly; second, they indicate that the adaptation rate for shape-constrained estimators can be strictly worse than the parametric rate.

연구 동기 및 목표

• 일般적인 차원 d ≥ 3에서 등온 회귀의 최소최대 위험 경계를 확립하는 것.
• 조각별 상수 신호에 대해 적응성을 보여주는 정밀한 오라클 부등식을 도출하는 것.
• 이전에 d ≤ 2에 국한되어 있던 결과들을 고차원 고정 설계 및 랜덤 설계 설정으로 확장하는 것.
• 경험적 위험 측면에서 최소제곱 추정량의 행동을 분석하는 것, 특히 수렴 속도와 적응성에 중점을 두는 것.

제안 방법

• 설계 점에 의해 유도된 방향성 비순환 그래프에 의해 정의되는 다면체 볼록 코ーン M(GX) 위로의 사영으로서 등온 회귀의 기하학적 해석을 사용한다.
• 함수 클래스에 대한 경험 과정을 제어하기 위해 대칭화된 경험 과정 이론과 엔트로피 적분 경계를 적용한다.
• 함수 클래스 F⁺_{d,↓} ∩ B₂(r) ∩ B∞(1)의 복잡성을 제어하기 위해 브라켓 엔트로피와 엔트로피 적분 기법을 활용한다.
• 위험을 근사 오차와 추정 오차 항으로 분해함으로써 경험 과정 경계와 결합하여 정밀한 오라클 부등식을 유도한다.
• 재귀적 통합 및 스케일링을 사용하여 [0,1]^d 내의 스트립에서 환경 함수의 L² 노름을 경계한다.
• 등온 추정량의 최소최대 표현을 적용하여 최대 노름에 대한 尾尾 확률 경계를 도출한다.

실험 결과

연구 질문

• RQ1 고정 격자 설계 하에서 d ≥ 3 차원에서 등온 회귀의 최소최대 수렴 속도는 무엇인가?
• RQ2 진짜 회귀 함수가 고차원에서 k개의 초직사각형으로 이루어진 조각별 상수일 경우, 최소제곱 등온 추정량이 적응적 속도를 달성할 수 있는가?
• RQ3 더 어려운 랜덤 설계 설정에서 등온 회귀의 위험 경계는 고정 설계 설정과 비교해 어떻게 행동하는가?
• RQ4 등온 함수 클래스에 대한 엔트로피 적분이 급격히 발산하는가? 만약 그렇다면, 추정량은 여전히 로그 인자들을 제외하고 최적 속도를 달성할 수 있는가?
• RQ5 고차원에서 형태 제약 추정량의 적응 속도는 반드시 파arametric 속도보다 엄격히 열 劣할 수 있는가?

주요 결과

• 고정 격자 설계 하에서 경험적 L² 손실에서 최소제곱 등온 추정량은 다항로그 인자들을 제외하고 순서 n^{-min(2/(d+2), 1/d)}의 최소최대 속도를 달성한다.
• k개의 초직사각형으로 이루어진 조각별 상수 신호에 대해서는 (k/n)^{min(1,2/d)}의 속도로 적응성을 보이며, 이는 최악의 경우 속도보다 빠르다.
• 이 논문은 위험 경계가 근사 오차와 (k(θ)/n)^{2/d} log^8(en/k(θ)) 항의 합으로 유계임을 보여주는 정밀한 오라클 부등식을 확립한다. 여기서 k(θ)는 상수 조각의 수이다.
• 랜덤 설계 설정에서도 동일한 속도가 달성되며, 이는 엔트로피 적분이 급격히 발산하더라도 전역 경험적 위험 최소화가 여전히 최적 속도를 달성할 수 있음을 보여준다.
• 결과들은 고차원에서 등온 회귀의 적응 속도가 반드시 파arametric 속도보다 엄격히 열 劣할 수 있음을 보여주며, 형태 제약이 항상 파arametric 속도를 제공한다는 직관을 도전한다.
• 이 논문은 d ≥ 3 차원에서 등온 회귀에 대한 최초의 위험 경계를 제공하며, 이는 이전 연구가 d ≤ 2에 국한되어 있음을 확장한다.