[논문 리뷰] Nonparametric Bayesian Regression on Manifolds via Brownian Motion

Xu Wang, Gilad Lerman|arXiv (Cornell University)|2015. 07. 24.

Bayesian Methods and Mixture Models참고 문헌 29인용 수 4

한 줄 요약

이 논문은 컴act 리만다이안 다양체 위에서의 브라운 운동을 사전으로 사용하여 다양체 값 응답에 대한 비모수 베이지안 회귀 프레임워크를 제안한다. 이는 후행 분포의 일致성과 임의의 $\theta > 0$에 대해 $O(n^{-1/4+\theta})$ 수준의 수축 속도를 확립하며, 연속 브라운 운동의 경우 약한 일치성을 보이며 선형적 구조가 없는 환경에서 커널 방법에 대한 통계적으로 엄밀한 대안을 제공한다.

ABSTRACT

This paper proposes a novel framework for manifold-valued regression and establishes its consistency as well as its contraction rate. It assumes a predictor with values in the interval $[0,1]$ and response with values in a compact Riemannian manifold $M$. This setting is useful for applications such as modeling dynamic scenes or shape deformations, where the visual scene or the deformed objects can be modeled by a manifold. The proposed framework is nonparametric and uses the heat kernel (and its associated Brownian motion) on manifolds as an averaging procedure. It directly generalizes the use of the Gaussian kernel (as a natural model of additive noise) in vector-valued regression problems. In order to avoid explicit dependence on estimates of the heat kernel, we follow a Bayesian setting, where Brownian motion on $M$ induces a prior distribution on the space of continuous functions $C([0,1], M)$. For the case of discretized Brownian motion, we establish the consistency of the posterior distribution in terms of the $L_{q}$ distances for any $1 \leq q < \infty$. Most importantly, we establish contraction rate of order $O(n^{-1/4+ε})$ for any fixed $ε>0$, where $n$ is the number of observations. For the continuous Brownian motion we establish weak consistency.

연구 동기 및 목표

• 응답이 컴팩트 리만다이안 다양체 위에 존재하는 비모수 베이지안 프레임워크를 개발하여 이러한 공간에서 선형적 구조가 부족한 문제를 다루는 것.
• 벡터 값 회귀에서의 가우시안 잡음 모델을 열린 다양체 값 응답으로 일반화하기 위해 열핵과 브라운 운동을 활용하는 것.
• 제안된 베이지안 모델 하에서 후행 분포의 빈도주의 일치성과 수축 속도를 확립하는 것.
• 기존의 파rametric 및 커널 기반 방법의 한계를 극복하기 위한 것 — 이러한 방법들은 제한적인 지오데식 또는 다항식 구조를 가정하거나 이론적 수축 속도 분석이 부족함.
• 비선형 다양체에 적용 불가능한 가우시안 프로세스 사전을 대체할 수 있는 통계적으로 타당한 대안을 제공하는 것.

제안 방법

• 프레임워크는 다양체 위의 열핵을 사용하여 응답 분포를 모델링하며, 이는 브라운 운동의 전이 밀도에 해당하여 연속 함수 $C([0,1], M)$ 위에 사전을 유도한다.
• 브라운 운동 경로의 법칙을 통해 사전을 구성하며, 스케일링 파라미터 $c$는 확산 시간을 제어하여 사전의 매끄러움을 조절한다.
• 이산화된 브라운 운동의 경우, 측면 길이 파라미터 $b_n$을 갖는 조각별 지오데식 함수 위에 사전이 정의되며, 이는 함수 공간의 탄력적인 근사화를 가능하게 한다.
• 후행 분포는 베이즈 정리에 의해 유도되며, 관측치의 잡음 모델은 열핵 $p_{\tau^2}(f_0(t), x)$ 기반이다.
• 이론적 분석은 함수 간의 $L_q$ 거리와 그에 의해 유도된 분포 간의 $L_q$ 거리를 비교하여, 다양체 위의 기하학적 경계를 활용한다.
• 수축 속도는 일반적인 빈도주의 접근을 통해 확립되며, 열핵 모델 하에서 후행 분포의 집중 성질을 활용한다.

실험 결과

연구 질문

• RQ1 브라운 운동을 사전으로 사용하여 선형적 구조에 의존하지 않고 다양체 값 응답을 위한 비모수 베이지안 회귀 모델을 구축할 수 있는가?
• RQ2 이 모델 하에서 후행 분포의 수축 속도는 얼마이며, 유클리드 환경에서 알려진 속도와 비교해 볼 때 어떻게 되는가?
• RQ3 초기 조건 파라미터 $c$ (확산 시간)와 $b_n$ (측면 길이)의 선택은 추정 정확도와 편향-분산 트레이드오프에 어떤 영향을 미치는가?
• RQ4 모든 $1 \leq q < \infty$ 에 대해 $L_q$ 노름에서 후행 분포는 일치하는가? 이는 이산화된 경우와 연속 브라운 운동 모두에 대해 성립하는가?
• RQ5 이 프레임워크는 $L_\infty$ 수렴 또는 $n^{-1/4+\theta}$ 대신 더 날카운 $n^{-1/4}$ 수축 속도를 달성할 수 있는가?

주요 결과

• 이산화된 브라운 운동 기반 후행 분포는 임의의 $1 \leq q < \infty$ 에 대해 $L_q$ 노름에서 일치한다.
• 진짜 함수로의 후행 수축 속도는 임의의 $\theta > 0$ 에 대해 $O(n^{-1/4 + \theta})$ 수준이며, 이는 다양체 값 회귀에 대해 처음으로 확립된 수축 속도이다.
• 연속 브라운 운동의 경우 후행 분포는 약한 일치성을 보이며, 진짜 함수로의 분포 수렴을 나타낸다.
• 초기 조건 파라미터 $c$는 확산 시간을 제어한다; 더 작은 $c$는 더 매끄러운 추정기로 이어지지만, 특히 이산화된 경우 편향을 증가시킨다.
• 이산화된 모델에서 측면 길이 파라미터 $b_n$은 편향에 영향을 미친다: 더 작은 $b_n$은 편향을 감소시키고 $L_1$ 오차를 개선하며, $b_n$이 충분히 작을 때 최적의 성능을 달성한다.
• 연속 브라운 운동 추정기(CBM)는 이산화된 버전(DBM)보다 작은 $c$에 대해 덜 민감하여, 초기 조건 선택에서 더 높은 강건성을 보인다.