[논문 리뷰] Adaptive dimension reduction with a Gaussian process prior

Anirban Bhattacharya, Debdeep Pati외 1명|arXiv (Cornell University)|2011. 11. 04.

Statistical Methods and Inference인용 수 8

한 줄 요약

이 논문은 차원별 스케일링과 계층적 하이퍼퍼리어를 갖춘 가우시안 프로세스 사전분포를 사용하는 베이지안 비모수 회귀 방법을 제안한다. 이는 중요도가 높은 예측변수를 자동으로 탐지하고 부드러움 수준을 조정함으로써 이방성 다변량 표면을 적응적으로 추정한다. 단일 대역폭을 갖는 동질적 가우시안 프로세스보다 우수한 성능을 보이며, 최소최대 최적의 사후 수축 속도(로그 인자까지)를 달성한다.

ABSTRACT

In nonparametric regression problems involving multiple predictors, there is typically interest in estimating an anisotropic multivariate regression surface in the important predictors while discarding the unimportant ones. Our focus is on defining a Bayesian procedure that leads to the minimax optimal rate of posterior contraction (up to a log factor) adapting to the unknown dimension and anisotropic smoothness of the true surface. We propose such an approach based on a Gaussian process prior with dimension-specific scalings, which are assigned carefully-chosen hyperpriors. We additionally show that using a homogenous Gaussian process with a single bandwidth leads to a sub-optimal rate in anisotropic cases.

연구 동기 및 목표

• 모르는 차원성과 이방성 부드러움을 고려한 다변량 비모수 회귀에서 적응 가능한 베이지안 절차를 개발하는 것.
• 예측변수 간 부드러움이 이질적인 고차원 회귀에서 최소최대 최적의 사후 수축 속도를 달성하는 것.
• 단일 대역폭을 갖는 동질적 가우시안 프로세스의 한계를 해결하는 것. 이는 이방성 설정에서 하위 최적의 속도를 초래한다.
• 중요한 예측변수를 자동으로 탐지하고 각 차원 간 이질적인 부드러움에 적응할 수 있도록 차원별 스케일링과 하이퍼퍼리어를 갖춘 사전 구조를 설계하는 것.

제안 방법

• 각 예측변수 차원에 대해 별도의 스케일링 파라미터를 갖는 가우시안 프로세스 사전분포를 구성하여 이방성 부드러움을 포착한다.
• 차원별 스케일링 파라미터에 하이퍼퍼리어를 할당하여 진짜 차원이나 부드러움에 대한 사전 지식 없이도 자동 적응이 가능하도록 한다.
• 중요하지 않은 예측변수는 0으로 수축시키는 경향을 갖는 계층적 사전 구조를 사용한다. 이는 중요한 예측변수의 부드러움은 유지한다.
• 이론적 도구로는 경험 과정 이론과 가우시안 프로세스 사후 집중 이론을 사용하여 사후 수축 속도를 분석한다.
• 단일 글로벌 대역폭을 갖는 동질적 가우시안 프로세스와의 대비를 통해, 이방성 케이스에서 하위 최적의 속도를 초래한다는 점을 입증한다.

실험 결과

연구 질문

• RQ1 알 수 없는 차원성과 이방성 부드러움을 갖는 비모수 회귀에서, 베이지안 비모수 방법이 최소최대 최적의 사후 수축 속도를 달성할 수 있는가?
• RQ2 이방성 설정에서 단일 대역폭을 갖는 동질적 가우시안 프로세스의 성능은 차원별 스케일링 접근법과 어떻게 비교되는가?
• RQ3 어떤 사전 구조가 중요한 예측변수의 자동 탐지와 각 차원 간 이질적인 부드러움에 대한 적응을 가능하게 하는가?
• RQ4 차원별 스케일링과 계층적 하이퍼퍼리어는 표준 사전에 비해 사후 집중을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 진짜 회귀 표면의 차원과 이방성 부드러움이 알려지지 않은 상태에서도 최소최대 최적의 사후 수축 속도를 달성한다. 다만 로그 인자까지 허용한다.
• 단일 대역폭을 갖는 동질적 가우시안 프로세스를 사용할 경우, 이방성 시나리오에서 하위 최적의 사후 수축 속도를 초래한다.
• 계층적 하이퍼퍼리어를 갖는 차원별 스케일링 구조는 중요 예측변수의 자동 탐지와 다양한 부드러움 수준에 대한 적응을 가능하게 한다.
• 이론적 분석을 통해, 이 방법이 조정 파rameter가 필요 없이 알려지지 않은 부드러움과 차원성에 적응한다는 점이 확인된다.