[논문 리뷰] Extrinsic Gaussian processes for regression and classification on manifolds

Lizhen Lin, Mu Niu외 2명|arXiv (Cornell University)|2017. 06. 27.

Morphological variations and asymmetry참고 문헌 25인용 수 3

한 줄 요약

이 논문은 다양한 다양체 위에서 회귀 및 분류를 위한 외재적 가우시안 프로세스(eGPs)를 제안한다. 이는 다양체를 유클리드 공간에 통합하고, 그 이미지 위에서 커널을 구성하는 방식이다. 이 방법은 유클리드 GPs로부터 유리한 이론적 성질을 물려받으며, 컴acts한 다양체 위의 스무ooth 함수에 대해 최적의 속도로 사후 분포 수렴을 달성한다.

ABSTRACT

Gaussian processes (GPs) are very widely used for modeling of unknown functions or surfaces in applications ranging from regression to classification to spatial processes. Although there is an increasingly vast literature on applications, methods, theory and algorithms related to GPs, the overwhelming majority of this literature focuses on the case in which the input domain corresponds to a Euclidean space. However, particularly in recent years with the increasing collection of complex data, it is commonly the case that the input domain does not have such a simple form. For example, it is common for the inputs to be restricted to a non-Euclidean manifold, a case which forms the motivation for this article. In particular, we propose a general extrinsic framework for GP modeling on manifolds, which relies on embedding of the manifold into a Euclidean space and then constructing extrinsic kernels for GPs on their images. These extrinsic Gaussian processes (eGPs) are used as prior distributions for unknown functions in Bayesian inferences. Our approach is simple and general, and we show that the eGPs inherit fine theoretical properties from GP models in Euclidean spaces. We consider applications of our models to regression and classification problems with predictors lying in a large class of manifolds, including spheres, planar shape spaces, a space of positive definite matrices, and Grassmannians. Our models can be readily used by practitioners in biological sciences for various regression and classification problems, such as disease diagnosis or detection. Our work is also likely to have impact in spatial statistics when spatial locations are on the sphere or other geometric spaces.

연구 동기 및 목표

• 다양체 값 예측 변수를 사용한 실용적이고 이론적으로 타당한 GP 모델의 부족을 해결한다.
• 비유클리드 다각체 위에서 유효한 공분산 커널을 구성하는 데 도전한다.
• 표준 유클리드 공간의 GP가 지닌 핵심 이론적 성질을 유지하는 일반적이고 구현 가능한 프레임워크를 개발한다.
• 뇌 영상, 형태 공간, 양의 정부호 행렬과 같은 복잡한 데이터 구조를 포함한 응용에서 정확한 불확실성 측정 및 예측을 가능하게 한다.
• 구형, 그라스만리안, 형태 공간 등 다양한 다각체에 적용 가능한 확장성 있고 융통성 있는 접근을 제공한다.

제안 방법

• 등변 임베딩 J를 사용하여 매끄러운 d차원 다각체 M을 더 높은 차원의 유클리드 공간 ℝ^D에 통합한다.
• 표준 유클리드 커널(예: 제곱 지수 커널)을 사용하여 이미지 다각체 J(M) ⊂ ℝ^D 위에서 외재적 커널을 정의한다.
• J(M) 위의 GP를 당김(pullback)을 통해 원래 다각체 M 위에 eGP 사전분포를 구성함으로써, 결과 과정이 매끄럽고 규칙적인 성질을 물려받도록 보장한다.
• eGP를 베이지안 회귀 및 분류에서 사전분포로 사용하며, 입력 다각체 조건 하에 우도를 정의한다.
• M 위의 함수와 그 이미지 J(M) 위의 함수 사이의 일대일 대응을 활용하여 문제를 ℝ^D 내 표준 GP 이론으로 환원함으로써 사후 수렴 속도를 확립한다.
• Yang과 Dunson(2016)의 이론적 결과를 응용하여 고정 설계 및 랜덤 설계 설정 모두에서 사후 집중 속도를 유도한다.

실험 결과

연구 질문

• RQ1 일반적이고 실용적인 다각체 위에서의 가우시안 프로세스 회귀 및 분류를 위한 프레임워크를 개발할 수 있는가?
• RQ2 비유클리드 다각체 위에서 유효하고 계산적으로 실현 가능한 공분산 커널을 어떻게 구성할 수 있는가?
• RQ3 외재적 GPs는 표준 유클리드 공간의 GP가 지닌 이론적 성질을 어느 정도 물려받는가?
• RQ4 매끄러운 다각체 위의 회귀 함수에 대해 eGPs의 사후 수렴 속도는 어떠한가?
• RQ5 이 프레임워크는 뇌 영상 및 기하 도메인 위의 공간 통계와 같은 실제 문제에 효과적으로 적용될 수 있는가?

주요 결과

• eGP 프레임워크는 유클리드 공간에의 임베딩과 외재적 커널 구성으로 인해 다각체 위에서 GP 모델링을 위한 일반적이고 구현 가능한 해법을 제공한다.
• eGPs는 표준 GP의 핵심 이론적 성질을 물려받으며, 사후 일致성 및 최적의 수렴 속도를 확보한다.
• 고정 설계 하에서, s-홀더 스무oth 함수(0 < s ≤ 2)에 대해 사후 수렴 속도는 εₙ = n^(-s/(2s+d)) (log n)^(d+1) 이다.
• 랜덤 설계 하에서는 동일한 스무ooth 조건 하에서 설계 측도 g에 대한 L²(g) 노름에서 사후 수렴 속도가 달성된다.
• 이 방법은 구형, 형태 공간, 양의 정부호 행렬, 그라스만리안 등 다양한 다각체에 적용 가능하다.
• 이 프레임워크는 DTI 데이터를 이용한 질병 진단이나 랜드마크 기반 뇌 영상과 같은 응용에서 정확한 불확실성 측정 및 예측을 가능하게 한다.