[논문 리뷰] Bayesian nonparametric inference on the Stiefel manifold

Lizhen Lin, Vinayak Rao외 1명|arXiv (Cornell University)|2013. 11. 04.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 6

한 줄 요약

이 논문은 컨centration 및 방향 행렬의 매개변수 공간 위의 기저 측도 위에 행렬 랭게빈 분포의 커널 혼합을 사용하여 스티프엘 만만 위의 확률 분포를 위한 베이지안 비모수 모델을 제안한다. 미묘한 정규성 조건 하에서 사후 일致성을 확립함으로써, 파rametric 모형의 잘못된 특정화 없이 직교 행렬 데이터에 대한 영향력 있고 생성적인 추론을 가능하게 한다.

ABSTRACT

The Stiefel manifold $V_{p,d}$ is the space of all $d imes p$ orthonormal matrices, with the $d-1$ hypersphere and the space of all orthogonal matrices constituting special cases. In modeling data lying on the Stiefel manifold, parametric distributions such as the matrix Langevin distribution are often used; however, model misspecification is a concern and it is desirable to have nonparametric alternatives. Current nonparametric methods are Fréchet mean based. We take a fully generative nonparametric approach, which relies on mixing parametric kernels such as the matrix Langevin. The proposed kernel mixtures can approximate a large class of distributions on the Stiefel manifold, and we develop theory showing posterior consistency. While there exists work developing general posterior consistency results, extending these results to this particular manifold requires substantial new theory. Posterior inference is illustrated on a real-world dataset of near-Earth objects.

연구 동기 및 목표

• 복잡한 직교 행렬 데이터를 모델링할 때 잘못된 특정화에 취약한 행렬 랭게빈 분포와 같은 파rametric 모형의 한계를 해결한다.
• 스티프엘 만만 위의 기존 프레셰 평균 기반 비모수 방법에 대한 완전히 생성적인 비모수 대안을 개발한다.
• 제안된 모형이 데이터 복잡성에 적응할 수 있도록 넓은 지지역간과 사후 일치성을 확보한다.
• 새로운 모형에 맞게 Rao 등(2014)의 MCMC 샘플러를 적응시켜 실용적인 사후 계산을 가능하게 한다.
• 스티프엘 만만의 기하학적 특성으로 인해 기존 결과의 비자명한 확장이 되는, 사후 일치성에 대한 이론적 근거를 제공한다.

제안 방법

• 농도 및 방향 행렬의 매개변수 공간 위의 기저 측도 위에 행렬 랭게빈 커널을 혼합하여 비모수 사전을 구성한다.
• 커널로 행렬 랭게빈 분포를 사용하며, 밀도는 $\text{etr}(F^T X)/Z(F)$ 비례한다. 여기서 $F$ 는 $d \times p$ 행렬의 매개변수이다.
• 행렬 랭게빈 분포의 매개변수를 특이값 분해 $F = G\boldsymbol{\kappa}H^T$ 를 통해 방향($G, H$)과 농도($\boldsymbol{\kappa}$) 성분으로 분리한다.
• $\boldsymbol{\kappa} \in \mathbb{R}^p_+$ 에 대한 농도 매개변수와 $G \in V_{p,d}$ 에 대한 방향에 대한 사전을 정의함으로써 다중모달 및 비대칭 분포의 영향력 있는 모델링을 가능하게 한다.
• Bhattacharya 및 Dunson(2012)의 조건 (a)–(d)를 검증함으로써 사후 일치성을 확립한다. 이는 부분집합의 컴팩트성과 유계 커버링 수를 포함한다.
• Rao 등(2014)의 MCMC 샘플링 알고리즘을 새 모형에 적응시켜 혼합 모형의 사후 추론을 수행함으로써 사후 시뮬레이션과 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스티프엘 만만 위에 파라미터 모형의 잘못된 특정화를 피할 수 있는 완전히 생성적인 비모수 모형을 구성할 수 있는가?
• RQ2 제안된 커널 혼합 모형은 스티프엘 만만 위의 광범위한 분포 클래스를 근사할 수 있는 충분한 지지역간을 갖는가?
• RQ3 미묘한 정규성 조건 하에서 진짜 기저 분포에 대해 사후 분포가 일치하는가?
• RQ4 이론적 보장을 유지하면서 효율적인 MCMC 샘플링을 통해 모형을 실용적으로 구현할 수 있는가?
• RQ5 예를 들어 지구 근접 천체의 궤도 방향 데이터와 같은 실제 오르비탈 방향 데이터에서 모형은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 커널 혼합 모형은 스티프엘 만만에서 넓은 지지역간을 가지며, 직교 행렬 위의 광범위한 확률 분포 클래스를 근사할 수 있다.
• 미묘한 정규성 조건 하에서 사후 일치성이 확립되었으며, 데이터 크기가 증가함에 따라 사후 분포가 진짜 분포 주위에 집중됨을 증명한다.
• 기존 결과가 스티프엘 만만의 리만 기하학적 특성으로 인해 직접 확장되지 않기 때문에, 사후 일치성의 증명을 위해 새로운 이론적 발전이 필요하다.
• 사후 일치성의 엔트로피 조건을 검증하였다: 조건 (c)는 $\boldsymbol{\kappa}$ 의 부분집합의 컴팩트성으로 인해 $b_2 = p$ 로 성립하며, 조건 (d)는 만만 위의 커버링 수 한계로 인해 $a_3 = dp$ 로 성립한다.
• 실제 근지구 천체 궤도 데이터 세트를 대상으로 모형을 경험적으로 검증하였으며, 파라미터 모형을 초월한 복잡한 방향 패턴을 포착할 수 있음을 보여주었다.
• 매개변수 $\boldsymbol{\kappa}$ 에 대한 커널 밀도의 기울기는 유계이므로, 사후 일치성 증명의 연속성 조건 (b)를 뒷받침하며, 매개변수 공간 내 안정성을 보장한다.