[논문 리뷰] A Theoretical Framework for Bayesian Nonparametric Regression: Orthonormal Random Series and Rates of Contraction

Fangzheng Xie, Wei Jin외 1명|arXiv (Cornell University)|2017. 12. 15.

Gaussian Processes and Bayesian Inference참고 문헌 42인용 수 3

한 줄 요약

이 논문은 함수 공간의 균일 유계성 조건을 필요로 하지 않고 통합 $L_2$-거리 기준에서 수축 속도를 도출하기 위해 정규직교 랜덤 급수를 사용하는 베이지안 비모수 회귀 프레임워크를 제안한다. 일반적인 정리가 제시되어 분석 함수에 대해 제곱 지수 가우시안 프로세스에서 근사 모수적 속도, 스크린 프로세스에 대해 적응적 속도, 하올더-스무쓰 함수에 대해 수정되지 않은 블록 프로세스에서 적응적이고 정확한 속도를 도출한다.

ABSTRACT

We develop a unifying framework for Bayesian nonparametric regression to study the rates of contraction with respect to the integrated $L_2$-distance without assuming the regression function space to be uniformly bounded. The framework is built upon orthonormal random series in a flexible manner. A general theorem for deriving rates of contraction for Bayesian nonparametric regression is provided under the proposed framework. As specific applications, we obtain the near-parametric rate of contraction for the squared-exponential Gaussian process when the true function is analytic, the adaptive rates of contraction for the sieve prior, and the adaptive-and-exact rates of contraction for the un-modified block prior when the true function is {\alpha}-smooth. Extensions to wavelet series priors and fixed-design regression problems are also discussed.

연구 동기 및 목표

• 균일 유계 함수 공간의 제한적인 가정을 피하는 통합 이론적 프레임워크를 개발하기 위해.
• 통합 $L_2$-거리 기준에서 사후 수축 속도를 도출할 수 있는 일반 조건을 설정하기 위해.
• 가우시안 프로세스, 스크린 프로세스, 블록 프로세스와 같은 특정 프로세스를 적용하여 날카운 수축 속도를 도출하기 위해.
• 웨이블릿 급수 프로세스와 고정 설계 회귀 설정으로 프레임워크를 확장하기 위해.
• 최소한의 정규성 가정 하에 매끄러운 함수에 대해 적응적이고 정확한 수축 속도를 달성하기 위해.

제안 방법

• 유연한 회귀 함수 표현을 가능하게 하는 정규직교 랜덤 급수 전개를 기반으로 한 프레임워크 구축.
• $L_2$-거리 기준에서 진짜 함수 주위의 사후 집중도를 제한하는 일반 정리 유도.
• 정규직교 기저의 구조와 급수 계수의 尾확률 한계를 활용하여 균일 유계성을 피하는 방법.
• 메트릭 엔트로피와 시험 기반 접근을 수정하여 정규직교 급수 설정에 적합하게 적용.
• 해당 계수 프로세스와 그 엔트로피 성질을 특성화하여 특정 프로세스에 프레임워크 적용.
• 웨이블릿 급수와 고정 설계 모델로의 확장을 위해 정규직교 기저와 설계별 메트릭 엔트로피 한계를 적응.

실험 결과

연구 질문

• RQ1 균일 유계 함수 공간의 가정 없이, 베이지안 비모수 회귀의 사후 수축 속도를 도출할 수 있는 조건은 무엇인가?
• RQ2 정규직교 랜덤 급수 표현은 균일 유계성이 없을 경우 날카운 수축 속도 도출을 어떻게 가능하게 하는가?
• RQ3 진짜 함수가 해석 함수일 경우 제곱 지수 가우시안 프로세스에 대해 어떤 수축 속도가 도출되는가?
• RQ4 매끄러움 조건 하에서 스크린 프로세스에 대해 적응적 속도, 블록 프로세스에 대해 정확한 속도를 얻을 수 있는가?
• RQ5 웨이블릿 급수 프로세스와 고정 설계 회귀 문제로 프레임워크를 어떻게 확장할 수 있는가?

주요 결과

• 진짜 함수가 해석 함수일 경우 통합 $L_2$-거리 기준에서 제곱 지수 가우시안 프로세스에 대해 근사 모수적 수축 속도를 달성한다.
• 스크린 프로세스에 대해 적응적 수축 속도가 확립되었으며, 로그 요소를 제외한 최적 속도를 일치시킨다.
• 수정되지 않은 블록 프로세스는 진짜 함수가 $\alpha$-스무쓰일 경우 조정 없이 적응적이고 정확한 수축 속도를 달성한다.
• 웨이블릿 급수 프로세스로의 방법 확장으로 동일한 수축 속도 분석이 이곳에서도 가능해진다.
• 고정 설계 회귀에 적용 가능하여 이 설정에서 수축 속도 분석을 위한 일반적 접근법을 제공한다.
• 일반 정리는 다양한 비모수 프로세스에 대해 수축 속도를 도출하는 데 통합된 도구를 제공하며, 유계성 가정이 필요하지 않다.