[논문 리뷰] Bayesian Manifold Regression

Yun Yang, David B. Dunson|arXiv (Cornell University)|2013. 05. 03.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 높은 차원의 예측 변수에서 내재된 다양체의 기하 구조를 명시적으로 추정하지 않고도 다양체의 구조를 활용하는 베이지안 비모수 회귀 방법을 제안한다. 내재 차원성에 맞춘 공분산 구조를 갖는 가우시안 프로세스 사전분포를 회귀 함수에 직접 적용함으로써, 미세한 정규성 조건 하에서 최소 최대 최적의 사후 수축 속도를 달성하며, 낮은 내재 차원성을 가진 고차원 설정에서 효율적이고 이론적으로 타당한 비모수 회귀를 가능하게 한다.

ABSTRACT

There is increasing interest in the problem of nonparametric regression with high-dimensional predictors. When the number of predictors $D$ is large, one encounters a daunting problem in attempting to estimate a $D$-dimensional surface based on limited data. Fortunately, in many applications, the support of the data is concentrated on a $d$-dimensional subspace with $d \ll D$. Manifold learning attempts to estimate this subspace. Our focus is on developing computationally tractable and theoretically supported Bayesian nonparametric regression methods in this context. When the subspace corresponds to a locally-Euclidean compact Riemannian manifold, we show that a Gaussian process regression approach can be applied that leads to the minimax optimal adaptive rate in estimating the regression function under some conditions. The proposed model bypasses the need to estimate the manifold, and can be implemented using standard algorithms for posterior computation in Gaussian processes. Finite sample performance is illustrated in an example data analysis.

연구 동기 및 목표

• 낮은 내재 차원성을 가진 고차원 예측 변수를 위한 계산적으로 구현 가능하고 이론적으로 타당한 베이지안 비모수 회귀 방법을 개발하기 위해.
• 데이터가 낮은 차원의 다양체 근처에 있을 때 고차원 회귀 표면을 추정하는 문제에 대응하기 위해.
• 알 수 없는 다양체 구조 하에서 회귀 함수의 최소 최대 최적 적응형 사후 수축 속도를 달성하기 위해.
• 명시적인 다양체 추정이 필요 없이도 데이터의 기하 구조를 활용하기 위해.
• 확장 가능하고 불확실성 캐릭터라이제이션을 유지하는 이론적 보장을 갖춘 고차원 비모수 회귀에서의 스케일러블한 접근을 제공하기 위해.

제안 방법

• 방법은 데이터 다양체의 내재 차원성에 맞춘 제곱 지수 공분산 함수를 갖는 가우시안 프로세스 사전분포를 사용한다.
• 데이터 지지 집합이 $ d \ll D $ 차원의 국소적으로 유클리드인 컴acts한 리만다이언션 다양체 위에 있다고 가정하고, 이 기하학적 구조를 암묵적으로 존중하는 사전분포를 구성한다.
• 기하학적 구조를 공분산 함수에 직접 통합함으로써 명시적인 다양체 추정을 피하고, 다양체의 국소적 성질을 활용한다.
• 사후 계산은 표준 가우시안 프로세스 알고리즘을 사용하여 계산적 타당성을 확보한다.
• 이론적 분석은 커버링 엔트로피 경계와 사전 농도 부등식을 기반으로 사후 수축 속도를 유도한다.
• 알 수 없는 부드러움과 내재 차원 $ d $ 에 대해 적응 가능하며, 정규성 조건 하에서 최적의 속도를 달성한다.

실험 결과

연구 질문

• RQ1 명시적인 저차원 다양체 추정 없이도 베이지안 비모수 회귀 방법이 최소 최대 최적의 사후 수축 속도를 달성할 수 있는가?
• RQ2 어떻게 고차원 설정에서 회귀 함수의 내재 차원 $ d $ 와 부드러움 $ s $ 에 적응하는 가우시안 프로세스 사전분포를 구성할 수 있는가?
• RQ3 다양체 기반의 GP 회귀가 최적의 적응형 속도를 달성할 수 있는 이론적 조건은 무엇인가?
• RQ4 명시적인 다양체 학습을 회피하면서도 계산 효율성과 불확실성 캐릭터라이제이션을 유지할 수 있는가?
• RQ5 다양체의 내재 차원 $ d $ 와 함수의 부드러움 $ s $ 가 사후 수축 속도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 베이지안 다양체 회귀는 진짜 회귀 함수가 H\
• 방법은 내재 차원 $ d $ 와 부드러움 $ s $ 에 대해 최적의 적응성을 달성하며, $ d $ 가 알려져 있지 않은 경우에도 성립한다.
• 데이터가 $ d $ 차원의 컴팩트한 리만다이언션 다양체 위에 있다고 가정할 때, 사후 수축 속도는 비모수 회귀의 최소 최대 하한값과 일치한다.
• 명시적인 다양체 추정을 피하고, 공분산 구조가 다양체 기하학을 암묵적으로 코딩하는 GP 사전분포에 의존한다.
• 커버링 엔트로피 경계와 사전 농도 부등식을 통해 이론적 보장을 확보하였으며, 사후가 최적의 속도로 수축함을 보였다.
• 시뮬레이션에서의 유한 표본 성능은 경쟁 방법 대비 강력한 경험적 성능을 확인하였으며, 특히 낮은 내재 차원성을 가진 고차원 설정에서 뚜렷한 우월성을 보였다.