[논문 리뷰] Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces

William Weimin Yoo, Vincent Rivoirard외 1명|arXiv (Cornell University)|2017. 08. 06.

Statistical Methods and Inference참고 문헌 21인용 수 11

한 줄 요약

이 논문은 다변량 설정에서 비모수적 회귀에 적응 가능한 비모수적 회귀를 위한 웨이블릿 스파이크-슬래브 베이지안 절차를 제안한다. 이는 회귀 함수와 그 혼합 편미분의 최적 초월 노름 사후 수축 속도를 달성한다. 새로운 번역 기법을 통해 회귀 모형을 허구의 백색 잡음 모형으로 환원함으로써, 저자들은 $L_\infty$ 손실 하에서 이방향 베소프 공간에서 적응적이고 최적의 수축 속도를 확립한다.

ABSTRACT

Supremum norm loss is intuitively more meaningful to quantify function estimation error in statistics. In the context of multivariate nonparametric regression with unknown error, we propose a Bayesian procedure based on spike-and-slab prior and wavelet projections to estimate the regression function and all its mixed partial derivatives. We show that their posterior distributions contract to the truth optimally and adaptively under supremum-norm loss. The master theorem through tests with exponential errors used in Bayesian nonparametrics was not adequate to deal with this problem, and we developed a new idea such that posterior under the regression model is systematically reduced to a posterior arising from some quasi-white noise model, where the latter model greatly simplifies our rate calculations. Hence, this paper takes the first step in showing explicitly how one can translate results from white noise to regression model in a Bayesian setting.

연구 동기 및 목표

• 다변량 비모수적 회귀에서 초월 노름 손실 하에 적응 가능한 사후 수축 결과의 부족을 해결하기 위해.
• 알 수 없는 부드러움에 적응하고 회귀 함수 및 그 혼합 편미분을 모두 추정할 수 있는 실용적인 베이지안 절차를 개발하기 위해.
• 베이지안 비모수통계에서 회귀 모형과 백색 잡음 모형 사이의 엄밀한 다리를 구축하여, 더 단순한 허구의 백색 잡음 근사치를 통한 속도 계산을 가능하게 하기 위해.
• 기존 이론을 $L_2$-손실을 넘어서 $L_\infty$-손실으로 확장하여, 함수 추정과 신뢰 구간에 더 해석 가능한 손실 기준을 제공하기 위해.
• 웨이블릿 기저와 스파이크-슬래브 사전을 사용하여, 비모수적 회귀에서 적응 가능한 $L_\infty$-수축을 달성하는 첫 번째 명시적이고 구축 가능한 방법을 제공하기 위해.

제안 방법

• 회귀 함수 $f$ 를 텐서 tích의 유한 조합인 웨이블릿 기저로 표현한다.
• 웨이블릿 계수에 스파이크-슬래브 사전을 할당하여 희박한, 적응 가능한 추정과 도함수 복구를 가능하게 한다.
• 오차 분산 $\sigma^2$ 에 $(0,\infty)$ 위에 연속적인 사전을 부여하여 이방향성의 존재를 허용한다.
• 회귀 모형 하의 사후 분포를 단순화하기 위해 허구의 백색 잡음 모형에서 유도된 사후 분포로 환원한다.
• 보렐의 부등식과 웨이블릿 디자인 행렬 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 의 경계를 사용하여 사후 평균의 초월 노름 편차를 통제한다.
• $2^{\sum_{l=1}^d J_{n,l}} = o(n)$ 라는 가정 하에 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 의 농도 불등식과 고유값 경계를 적용하여 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 베이지안 절차가 다변량 비모수적 회귀에서 $L_\infty$-손실 하에 적응적이고 최적의 사후 수축을 달성할 수 있는가?
• RQ2 베이지안 프레임워크 내에서 회귀 모형의 사후 수축 속도를 백색 잡음 모형의 속도와 체계적으로 연결할 수 있는가?
• RQ3 웨이블릿 스파이크-슬래브 사전은 혼합 편미분의 적응 가능한 추정에 어떤 역할을 하는가?
• RQ4 회귀 모형과 백색 잡음 모형 사이의 渐近 등가성은 사후 속도 계산에서 명시적으로 표현될 수 있는가?
• RQ5 알 수 없는 부드러움 하에서 이방향 베소프 공간에서의 회귀 함수에 대한 최적의 $L_\infty$-수축 속도는 무엇인가?

주요 결과

• 제안된 웨이블릿 스파이크-슬래브 절차는 초월 노름 손실 하에서 적응적이고 최적의 사후 수축 속도를 달성한다.
• 회귀 모형에서의 사후 수축 속도는 허구의 백색 잡음 모형의 속도로 제한되며, 이는 속도 계산을 실용적으로 가능하게 한다.
• 이 방법은 이방향 베소프 공간에서 회귀 함수와 그 혼합 편미분에 대해 최적의 $L_\infty$-수축을 달성한다.
• 저자들은 디자인 가정 $2^{\sum_{l=1}^d J_{n,l}} = o(n)$ 하에서 $\|\widehat{f}_n - \mathbb{E}_f\widehat{f}_n\|_\infty$ 가 확률적으로 $O_p(\sqrt{n^{-1} 2^{\sum_{l=1}^d J_{n,l}} \log n})$ 로 유계임을 확립한다.
• 디자인 행렬 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 의 고유값은 $\gtrsim n$ 과 $O(n)$ 사이로 유계이며, 이는 사후 계산에서의 안정성과 가역성을 보장한다.
• 본 연구는 다변량 비모수적 회귀에서 알 수 없는 부드러움에 적응하고 최적의 $L_\infty$-수축을 달성하는 첫 번째 명시적 구축 가능한 베이지안 절차를 제공한다.