[논문 리뷰] Multivariate extensions of isotonic regression and total variation denoising via entire monotonicity and Hardy-Krause variation

Billy Fang, Adityanand Guntuboyina외 1명|arXiv (Cornell University)|2019. 03. 04.

Statistical Methods and Inference참고 문헌 61인용 수 12

한 줄 요약

이 논문은 다변량 이sovtonic 회귀와 총 변동량 노이즈 제거를 고차원으로 일반화하는 두 가지 다변량 비모수 최소제곱 추정량—전체 단조성 LSE와 경계 조건이 있는 Hardy-Krause 변동량 LSE—을 제안한다. 이 추정량들은 유일한 단조성 회귀와 총 변동량 노이즈 제거를 일반화하며, 유한 표본 위험도 $ n^{-2/3} $ (차원 $ d $ 에 대한 로그 인자들을 제외하고)로 제한되며, 차원의 저주를 피하고, 진짜 함수가 약간의 직사각형 조각상수 함수에 가까울 경우 거의 파rametric 위험 성능을 보인다.

ABSTRACT

We consider the problem of nonparametric regression when the covariate is $d$-dimensional, where $d \geq 1$. In this paper we introduce and study two nonparametric least squares estimators (LSEs) in this setting---the entirely monotonic LSE and the constrained Hardy-Krause variation LSE. We show that these two LSEs are natural generalizations of univariate isotonic regression and univariate total variation denoising, respectively, to multiple dimensions. We discuss the characterization and computation of these two LSEs obtained from $n$ data points. We provide a detailed study of their risk properties under the squared error loss and fixed uniform lattice design. We show that the finite sample risk of these LSEs is always bounded from above by $n^{-2/3}$ modulo logarithmic factors depending on $d$; thus these nonparametric LSEs avoid the curse of dimensionality to some extent. We also prove nearly matching minimax lower bounds. Further, we illustrate that these LSEs are particularly useful in fitting rectangular piecewise constant functions. Specifically, we show that the risk of the entirely monotonic LSE is almost parametric (at most $1/n$ up to logarithmic factors) when the true function is well-approximable by a rectangular piecewise constant entirely monotone function with not too many constant pieces. A similar result is also shown to hold for the constrained Hardy-Krause variation LSE for a simple subclass of rectangular piecewise constant functions. We believe that the proposed LSEs yield a novel approach to estimating multivariate functions using convex optimization that avoid the curse of dimensionality to some extent.

연구 동기 및 목표

• 일변량 이sovtonic 회귀와 총 변동량 노이즈 제거의 자연스러운 다변량 확장 방식을 개발하여 유용한 비모수 성질을 유지하는 것.
• 차원 독립적인 위험 경계를 갖는 형태 제약 추정량을 도입하여 다변량 비모수 회귀에서의 차원의 저주 문제를 해결하는 것.
• 볼록 최적화를 통해 두 가지 새로운 최소제곱 추정량—전체 단조성 및 Hardy-Krause 변동량 제약 LSE—의 특성과 계산 방법을 규명하는 것.
• 제곱 오차 손실 하에서 유한 표본 위험 경계를 확립하고, 진짜 함수가 약간의 직사각형 조각상수 함수에 가까울 경우 거의 파arametric 성능을 보여주는 것.
• 거의 매칭되는 최소최대 하한선을 증명하여 유도된 위험 속도의 최적성 확인.

제안 방법

• 다양한 차원에서의 전체 단조성 함수의 집합 $ \mathcal{F}_{\text{EM}}^d $ 를 정의하여 일변량 비감소 함수를 다차원으로 일반화한다.
• 전체 단조성 LSE를 선형 제약 조건이 있는 볼록 2차 프로그램의 해로 정의하며, $ \mathcal{F}_{\text{EM}}^d $ 위에서 경험 위험을 최소화한다.
• Hardy-Krause 변동량에 제약을 두어 다변량 환경으로의 총 변동량 노이즈 제거를 일반화한 제약 조건이 있는 Hardy-Krause 변동량 LSE를 도입한다.
• 균일 격자 기반의 함수 표현을 사용하여 추정량을 유한 차원의 2차 프로그램으로 표현한다.
• 가우시안 프로세스 및 가우시안 폭 기법을 적용하여 추정량의 기대 위험에 대한 상한을 유도한다.
• 가우시안 벡터의 분해 기법과 尾 꼬리 경계를 사용하여 제약 조건이 있는 매개변수 공간 위에서 선형 형식의 최대값을 제어한다.

실험 결과

연구 질문

• RQ1 일변량 이sovtonic 회귀의 자연스러운 다변량 일반화는 무엇이며, 이는 조각상수 피팅 및 위험 성질을 유지하는가?
• RQ2 총 변동량 노이즈 제거는 다변량 비모수 회귀로 어떻게 확장될 수 있으며, 유리한 위험 속도를 유지할 수 있는가?
• RQ3 이러한 다변량 추정량은 특히 유한 표본 위험 경계 측면에서 차원의 저주를 피할 수 있는가?
• RQ4 어떤 조건에서 이러한 추정량이 거의 파arametric 위험(즉, 로그 인자들을 제외하고 $ O(1/n) $)을 달성하는가?
• RQ5 이러한 형태 제약 추정량의 다변량 설정에서의 최소최대 하한선은 무엇인가?

주요 결과

• 전체 단조성 LSE와 제약 조건이 있는 Hardy-Krause 변동량 LSE의 유한 표본 위험도 상한선으로 $ C_d n^{-2/3} $ 으로 제한되며, 여기서 $ C_d $ 는 차원 $ d $ 에 대해 로그적으로 의존하므로, 차원의 저주를 피하고 있음을 나타낸다.
• 적은 수의 조각을 가진 직사각형 조각상수 전체 단조성 함수로 잘 근사되는 함수에 대해서는 전체 단조성 LSE가 거의 파arametric 위험을 달성하며, 로그 인자들을 제외하고 $ C_d n^{-1} $ 으로 제한된다.
• 유사한 거의 파arametric 위험 결과는 직사각형 조각상수 함수의 단순 부분집합에서 제약 조건이 있는 Hardy-Krause 변동량 LSE에도 적용된다.
• 제안된 추정량들은 볼록 최적화 문제(선형 제약 조건이 있는 2차 프로그램)의 해이므로 계산 가능하고 안정하다.
• 논문은 거의 매칭되는 최소최대 하한선을 확립하여, $ n^{-2/3} $ 위험 속도가 $ d $ 에 대한 로그 인자들까지 최적임을 확인한다.
• 이론적 분석은 가우시안 폭 논증과 매개변수 공간의 분해에 기반하며, 핵심 경계는 가우시안 벡터의 성질과 제약 조건이 있는 최대값의 성질을 사용하여 도출된다.