[논문 리뷰] Isotonic Regression in Multi-Dimensional Spaces and Graphs

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|2018. 12. 21.

Statistical Methods and Inference참고 문헌 22인용 수 8

한 줄 요약

이 논문은 다차원 공간과 그래프에서 등방성 회귀를 위한 블록 추정기(block estimator)를 제안하며, 범위가 유계인 조건 하에서 $\ell_2$ 위험에 대해 최소최대 속도 $n^{-1/d}$ 를 달성하고, 평균 함수가 $K$-조각상수일 경우 근사적인 파rametric 적응 속도 $(K/n)\{1\vee\log(n/K)\}^d$ 를 달성한다. 블록 추정기는 변수 선택에서 오라클 성질을 보이며, 로그 인자까지는 진짜 기초 변수 집합에 자동으로 적응한다.

ABSTRACT

In this paper we study minimax and adaptation rates in general isotonic regression. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 2$ and $N(0,1)$ noise, the minimax rate for the $\ell_2$ risk is known to be bounded from below by $n^{-1/d}$ when the unknown mean function $f$ is nondecreasing and its range is bounded by a constant, while the least squares estimator (LSE) is known to nearly achieve the minimax rate up to a factor $(\log n)^γ$ where $n$ is sample size, $γ= 4$ in the lattice design and $γ= \max\{9/2, (d^2+d+1)/2 \}$ in the random design. Moreover, the LSE is known to achieve the adaptation rate $(K/n)^{-2/d}\{1\vee \log(n/K)\}^{2γ}$ when $f$ is piecewise constant on $K$ hyperrectangles in a partition of $[0,1]^d$. Due to the minimax theorem, the LSE is identical on every design point to both the max-min and min-max estimators over all upper and lower sets containing the design point. This motivates our consideration of estimators which lie in-between the max-min and min-max estimators over possibly smaller classes of upper and lower sets, including a subclass of block estimators. Under a $q$-th moment condition on the noise, we develop $\ell_q$ risk bounds for such general estimators for isotonic regression on graphs. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 3$, our $\ell_2$ risk bound for the block estimator matches the minimax rate $n^{-1/d}$ when the range of $f$ is bounded and achieves the near parametric adaptation rate $(K/n)\{1\vee\log(n/K)\}^{d}$ when $f$ is $K$-piecewise constant. Furthermore, the block estimator possesses the following oracle property in variable selection: When $f$ depends on only a subset $S$ of variables, the $\ell_2$ risk of the block estimator automatically achieves up to a poly-logarithmic factor the minimax rate based on the oracular knowledge of $S$.

연구 동기 및 목표

• 등방성 회귀의 최소최대 및 적응 속도를 $[0,1]^d$ 에서 $d \geq 2$ 인 경우 균일한 결정론적 및 랜덤 설계 하에서 확립하기.
• 등방성 회귀에서 그래프에 대한 $\rvert\ell_q$ 위험 경계를 일반화한 프레임워크를 개발하기.
• 다차원 등방성 회귀에서 최소최대 속도와 근사적인 파라미터 적응 속도를 달성하는 블록 추정기를 제안하고 분석하기.
• 블록 추정기가 변수 선택에서 오라클 성질을 보임을 보여주며, 진짜 관련 변수 집합에 대해 로그 인자까지 적응함을 입증하기.

제안 방법

• 논문은 상한 집합과 하한 집합의 제한된 클래스 위에서 최대-최소와 최소-최대 추정기 사이에 위치하는 추정기의 클래스를 도입하며, 이에 포함된 블록 추정기를 포함한다.
• 소음의 $q$-번째 모멘트 조건 하에서 일반 추정기의 $\rvert\ell_q$ 위험 경계를 유도한다.
• 블록 추정기는 초직사각형 블록 $[\boldsymbol{u}, \boldsymbol{v}]$ 에서 관측치의 평균으로 정의되며, 이는 등방성 제약 조건을 만족시킨다.
• 이론적 분석은 최소최대 정리에 기반하여, 최소제곱추정기(LSE)가 최대-최소 및 최소-최대 추정기와 일치함을 보이고, 이를 통해 중간 추정기의 위험을 경계한다.
• 다음으로, $d \geq 3$ 인 경우, 함수 범위가 유계일 때 블록 추정기는 최소최대 속도 $n^{-1/d}$ 를 달성한다.
• 블록 추정기의 오라클 성질을 입증하기 위해, 진짜 변수 집합 $S$ 를 오라클 지식으로 가질 경우의 최소최대 속도와 비교했을 때, 블록 추정기의 위험은 다항 로그 인자까지 일치함을 보였다.

실험 결과

연구 질문

• RQ1 다음과 같은 조건에서 블록 추정기가 다차원 등방성 회귀에서 $d \geq 3$ 일 때 최소최대 속도 $n^{-1/d}$ 를 달성할 수 있는가?
• RQ2 진짜 함수가 $[0,1]^d$ 에서 $K$-조각상수일 경우, 블록 추정기가 근사적인 파라미터 적응 속도를 달성하는가?
• RQ3 블록 추정기가 등방성 회귀에서 진짜 관련 변수의 부분집합에 대해 자동으로 적응하여, 로그 인자까지 오라클 속도를 달성할 수 있는가?
• RQ4 다양한 함수 클래스와 차원에서 위험성과 내성에 있어 블록 추정기와 최소제곱추정기(LSE)의 성능을 어떻게 비교할 수 있는가?
• RQ5 LSE가 블록 추정기를 열등하게 만들거나, 반대로 블록 추정기가 LSE를 초월하는 조건은 무엇인가?

주요 결과

• 진짜 함수의 범위가 유계일 경우, 다차원 등방성 회귀에서 블록 추정기는 $\rvert\ell_2$ 위험에 대해 최소최대 속도 $n^{-1/d}$ 를 달성한다.
• $[0,1]^d$ 에서 $K$-조각상수 함수일 경우, 블록 추정기는 근사적인 파라미터 적응 속도 $(K/n)\{1\vee\log(n/K)\}^d$ 를 달성하며, 기존에 알려진 최고 수준의 LSE 속도와 일치한다.
• 블록 추정기는 오라클 성질을 보이며, 진짜 변수 집합 $S$ 를 사전 지식으로 가질 경우 달성 가능한 최소최대 속도에 대해 다항 로그 인자까지 위험 수준이 일치한다.
• $d=3$ 인 시뮬레이션에서, 블록 추정기는 여섯 번의 실험 중 네 번에서 LSE를 뚜렷이 능가하며, $p$-값 $\leq 0.0062$ 를 기록했고, 대부분의 설정에서 더 낮은 평균 제곱 오차를 보였다.
• 50 × 20 격자에서의 두 조각 함수 예제에서 LSE는 블록 추정기를 略적으로 능가했지만, 유의미한 차이는 없었으며 ($p$-값 = 0.6163), 이는 블록 추정기의 내성에 기여한다.
• 소음의 $q$-번째 모멘트 조건 하에서, 블록 추정기의 위험은 $C \cdot (K/n)\{1\vee\log(n/K)\}^d$ 로 경계되며, 이는 적응성과 내성의 근거를 제공한다.