[논문 리뷰] Dimension adaptability of Gaussian process models with variable selection and projection

Surya T. Tokdar|arXiv (Cornell University)|2011. 12. 04.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 10

한 줄 요약

이 논문은 재스케일링, 변수 선택, 선형 투영을 갖춘 가우시안 프로세스 모델이 비모수적 회귀, 분류, 밀도 추정, 밀도 회귀에서 최적의 사후 수렴 속도를 달성함을 보여준다 — 로그 인자까지 고려할 때. 핵심 기여는 진정한 입력 공간의 저차원 부분공간을 사전 지식 없이 식별하고 투영함으로써 적응적으로 더 빠른 수렴 속도를 달성하며, 진정한 함수의 내재 차원에 대응하는 최적 속도를 따라간다는 것이다.

ABSTRACT

It is now known that an extended Gaussian process model equipped with rescaling can adapt to different smoothness levels of a function valued parameter in many nonparametric Bayesian analyses, offering a posterior convergence rate that is optimal (up to logarithmic factors) for the smoothness class the true function belongs to. This optimal rate also depends on the dimension of the function's domain and one could potentially obtain a faster rate of convergence by casting the analysis in a lower dimensional subspace that does not amount to any loss of information about the true function. In general such a subspace is not known a priori but can be explored by equipping the model with variable selection or linear projection. We demonstrate that for nonparametric regression, classification, density estimation and density regression, a rescaled Gaussian process model equipped with variable selection or linear projection offers a posterior convergence rate that is optimal (up to logarithmic factors) for the lowest dimension in which the analysis could be cast without any loss of information about the true function. Theoretical exploration of such dimension reduction features appears novel for Bayesian nonparametric models with or without Gaussian processes.

연구 동기 및 목표

• 재스케일링, 변수 선택 또는 선형 투영을 갖춘 가우시안 프로세스 모델이 데이터의 진정한 저차원 구조를 활용하여 더 빠른 사후 수렴 속도를 달성할 수 있는지 조사하기 위해.
• 후행 일致성 이외의 베이지안 비모수 모델에서 차원 적응성에 대한 이론적 보장을 수립하기 위해.
• 진정한 함수가 입력 변수의 부분집합이나 투영에만 의존하는 경우, 재스케일링된 가우시안 프로세스의 알려진 최적 수렴 속도를 확장하기 위해.
• 선택 또는 투영을 통해 효과적인 차원이 감소할 때, 이러한 모델이 비모수적 회귀, 분류, 밀도 추정, 밀도 회귀에서 거의 최소 최대 최적 속도를 달성함을 보여주기 위해.

제안 방법

• 모델은 미지의 매끄러움 수준에 적응할 수 있도록 확률적 스케일링 파rameter를 갖춘 재스케일링된 제곱 지수 가우시안 프로세스 사전을 사용한다.
• 변수 선택은 사전이 입력 좌표의 부분집합에만 작용하도록 하며, 선택은 이진 지표 벡터로 모델링된다.
• 선형 투영은 입력 공간에 정규직교 변환을 적용하여 차원을 진정한 함수가 존재하는 내재 부분공간으로 감소시킴으로써 구현된다.
• 이론적 분석은 van der Vaart와 van Zanten(2009)의 사후 집중 조건 (5)–(7)을 투영 또는 선택된 공간에 적응시켜 검증하기 위해 체계와 테스트 집합을 구성한다.
• 증명 기법은 van der Vaart와 van Zanten(2009)의 결과를 확장하여 저차원 구조를 사전과 사후 집중 분석에 통합한다.
• 수렴의 척도는 조건부 밀도에 대한 헬링거 유사도 거리로 정의되며, 조건을 사후 집중에 매핑하기 위한 기술적 도구로 측도 $ G_x $ 가 사용된다.

실험 결과

연구 질문

• RQ1 진정한 함수가 $ d_1 \leq d $ 개의 입력 좌표에만 의존할 때, 변수 선택을 갖춘 재스케일링된 가우시안 프로세스 모델이 최적의 수렴 속도 $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $ 를 달성할 수 있는가?
• RQ2 진정한 함수가 입력의 질량-차원 선형 투영에만 의존할 때, 선형 투영 기반의 GP 모델이 최적의 수렴 속도 $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $ 를 달성할 수 있는가?
• RQ3 후행 일치성 이외의 관점에서, 차원 감소를 위한 변수 선택 또는 투영을 사용할 경우 더 빠른 사후 수렴 속도를 얻을 수 있는 이론적 이점이 있는가?
• RQ4 입력이 저차원 부분공간으로 투영될 때, 밀도 회귀에서 사후 집중 속도는 어떻게 행동하는가?

주요 결과

• 변수 선택을 갖춘 GP 모델의 사후 수렴 속도는 진정한 내재 차원 $ d_1 $ 에 대해 최적의 속도 $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $ 와 일치하며, $ d_1 $ 가 사전에 알려지지 않은 상태에서도 성립한다.
• 선형 투영의 경우, 진정한 함수가 입력의 $ d_0 $-차원 선형 투영에만 의존할 때, 모델은 최적의 수렴 속도 $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $ 를 달성하며, $ d_0 $ 는 그러한 최소 차원이다.
• 이론적 프레임워크는 이러한 차원 적응성 덕분에 고차원 입력 공간에서 표준 GP 모델보다 더 빠른 수렴 속도를 달성함을 확인한다. 이는 진정한 부분공간을 사전에 알지 못하더라도 성립한다.
• 결과는 비모수적 회귀, 분류, 밀도 추정, 밀도 회귀 등 다양한 모델에 걸쳐 성립하며, 광범위한 적용 가능성을 보여준다.
• $ G_x $-가중 헬링거 거리가 기술적 도구로 사용될 때, 회귀 목표의 해석 가능성은 유지되며, $ G_x $-기반 수렴은 절대 연속성 조건 하에서 $ G^*_x $-기반 수렴을 함의한다.
• 논문은 수렴 속도의 로그 인자가 차원 감소로 향상되지 않음을 확인했지만, $ d_0 \ll d $ 일 때 주요 항인 $ n^{-\alpha/(2\alpha + d_0)} $ 는 전체 차원 속도보다 현저히 더 빠르다는 것을 증명한다.