[논문 리뷰] Statistics on the (compact) Stiefel manifold: Theory and Applications

Rudrasis Chakraborty, Baba C. Vemuri|arXiv (Cornell University)|2017. 07. 31.

Face and Expression Recognition참고 문헌 32인용 수 11

한 줄 요약

이 논문은 컴act Stiefel 다양체, 즉 동차 공간인 데에 대해 새로운 가우시안 분포를 제안하고, 그 위치 매개변수의 최대우도추정치가 프레셰 평균(FM)과 일치함을 증명한다. 이는 약한 일致성과 함께 계산 효율성과 수렴 속도에서 기울기 기반 및 확률적 기울기 방법보다 뛰어난 성능을 보이는 순차적이고 결정적인 FM 추정기인 StiFME를 제안한다. 이는 합성 및 실세계 데이터에서 검증되었다.

ABSTRACT

A Stiefel manifold of the compact type is often encountered in many fields of Engineering including, signal and image processing, machine learning, numerical optimization and others. The Stiefel manifold is a Riemannian homogeneous space but not a symmetric space. In previous work, researchers have defined probability distributions on symmetric spaces and performed statistical analysis of data residing in these spaces. In this paper, we present original work involving definition of Gaussian distributions on a homogeneous space and show that the maximum-likelihood estimate of the location parameter of a Gaussian distribution on the homogeneous space yields the Fréchet mean (FM) of the samples drawn from this distribution. Further, we present an algorithm to sample from the Gaussian distribution on the Stiefel manifold and recursively compute the FM of these samples. We also prove the weak consistency of this recursive FM estimator. Several synthetic and real data experiments are then presented, demonstrating the superior computational performance of this estimator over the gradient descent based non-recursive counter part as well as the stochastic gradient descent based method prevalent in literature.

연구 동기 및 목표

• 대칭 공간에 국한된 이전 연구를 일반화하여 동차 공간에 대해 유효한 가우시안 분포를 정의하는 것.
• 이 분포에서 위치 매개변수의 최대우도추정치(MLE)가 표본의 프레셰 평균(FM)과 일치함을 증명하는 것.
• 약한 일치성 증명을 포함한, 다양체 값 데이터의 FM을 계산하기 위한 순차적이고 결정적인 알고리즘(StiFME)을 개발하는 것.
• 온라인 및 스트리밍 데이터 환경에서 기울기 강하법과 확률적 기울기 강하법에 비해 뛰어난 계산 효율성을 보여주는 것.
• 합성 및 실세계 데이터에서의 방법 검증을 통해 높은 재구성 정확도와 낮은 오차를 보여주는 것, 예를 들어 벡터 심전도 분석에서의 적용

제안 방법

• 정규화 상수가 위치 매개변수에 영향을 받지 않는다는 것을 보장하면서, 컴팩트한 Stiefel 다양체를 동차 공간으로 간주하여 가우시안 분포를 정의한다.
• 리만 지수 사상과 탄성 공간을 사용하여 정규화 요소가 일정한 확률 밀도 함수를 구성한다.
• 정의된 Stiefel 다양체 위의 가우시안 분포에서 i.i.d. 표본을 생성하기 위한 샘플링 절차를 개발한다.
• 고정된 단계 크기를 사용하여 점진적으로 FM 추정치를 갱신하는 순차적 추정기인 StiFME를 제안한다. 이는 반복 최적화를 피한다.
• 표준 정규성 조건 하에서 StiFME의 약한 일치성을 증명하여 참값의 FM로의 확률적 수렴을 보여준다.
• 위치 매개변수의 MLE가 渐近적으로 크래머-라오 하한을 도달함을 증명하여 효율성을 확인한다.

실험 결과

연구 질문

• RQ1 정규화 상수가 일정한 가우시안 분포를 동차 공간, 예를 들어 컴팩트한 Stiefel 다양체에 정의할 수 있는가?
• RQ2 이 가우시안 분포의 위치 매개변수의 최대우도추정치가 표본의 프레셰 평균과 일치하는가?
• RQ3 반복 최적화를 피하고 약한 일치성을 보장하는 Stiefel 다양체에서의 FM 추정을 위한 순차적이고 결정적인 알고리즘을 설계할 수 있는가?
• RQ4 제안된 순차적 추정기(StiFME)는 기울기 강하법과 확률적 기울기 강하법에 비해 다양체 값 데이터에서 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ5 기존의 FM 추정기들과 비교해 StiFME의 계산 복잡도와 실세계 및 합성 데이터 환경에서의 경험적 성능은 어떠한가?

주요 결과

• 제안된 Stiefel 다양체 위의 가우시안 분포는 정규화 상수가 일정하여 수학적 일관성이 입증된다.
• 위치 매개변수의 MLE는 표본의 프레셰 평균과 증명 가능하게 일치하므로, FM 추정에 대한 통계적 기반을 확립한다.
• 100개의 표본을 한 번만 순회할 때 StiFME는 참 FM으로부터 거리 0.00025를 기록했으며, 분산은 0.05로 매우 낮았다. 반면 [7]의 SGD 방법은 동일한 정확도에 도달하기 위해 19회의 순회가 필요했다.
• 분산이 높은 경우(0.29) StiFME는 한 번의 순회로 거리 0.00039를 달성했고, SGD 방법은 0.00039 정확도에 도달하기 위해 58회의 순회가 필요했다.
• StiFME의 시간 복잡도는 O(ιN)이며, 단일 순회 내에서 수렴을 달성하여 SGD(배치 크기 b, 반복 수 ι̂)의 O(bι̂) 복잡도에 비해 훨씬 빠르다.
• 벡터 심전도 데이터에서는 첫 두 주요 지오데식 방향을 사용한 재구성에서 평균 오차가 1인당 0.05로 나타나, FM 및 PGA 기반 분석의 높은 정확도를 보여주었다.