[논문 리뷰] Expected path length on random manifolds

David Eklund, Søren Hauberg|arXiv (Cornell University)|2019. 08. 20.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 9

한 줄 요약

이 논문은 생성 모델의 잠재 공간에서 랜덤 리만 계량을 결정론적 근사로 제안하여 계산적으로 타당하고 재파arameterization 불변 연산인 보간, 거리 계산, 통합을 가능하게 한다. 주요 기여는 고차원 데이터 설정에서 특히 정확한 예상 경로 길이 오차에 대한 날카운 이론적 경계를 제공하는 것이다. 이러한 설정은 머신러닝에서 흔히 발생한다.

ABSTRACT

Manifold learning seeks a low dimensional representation that faithfully captures the essence of data. Current methods can successfully learn such representations, but do not provide a meaningful set of operations that are associated with the representation. Working towards operational representation learning, we endow the latent space of a large class of generative models with a random Riemannian metric, which provides us with elementary operators. As computational tools are unavailable for random Riemannian manifolds, we study deterministic approximations and derive tight error bounds on expected distances.

연구 동기 및 목표

• 생성 모델의 잠재 공간에 대해 보간, 거리, 통합을 지원하는 수학적으로 타당하고 운영 가능한 표현을 개발하기 위해.
• 기본적인 비선형 다양체 학습 및 VAE 유사 모델에서의 정의되지 않은 기하 연산의 부족을 해결하기 위해.
• 랜덤 리만 다양체를 직접 다루는 데에는 확립된 계산 도구가 없어, 이를 대체할 계산적으로 실현 가능한 대안을 제공하기 위해.
• 기하 연산이 잠재 공간의 매끄러운 재파arameterization에 대해 불변하도록 보장하여, 유클리드 기반 계량에서 발생하는 모호성을 해결하기 위해.

제안 방법

• 생성 함수 $f$의 야코비안에서 유도된 랜덤 리만 계량을 생성 모델 $x = f(z)$의 잠재 공간에 부여한다.
• 랜덤 계량의 기대값을 계산하여 결정론적 근사를 도입함으로써 표준 리만 기하학 도구의 사용을 가능하게 한다.
• 야코비안 분포의 평균과 분산을 사용하여 랜덤 계량 하에서 점 간의 예상 지오데식 경로 길이 오차에 대해 날카운 오차 경계를 유도한다.
• 후행 평균과 공분산이 해석적으로 접근 가능한 가우시안 프로세스 잠재변수 모델(GPLVMs)에 이 프레임워크를 적용한다.
• 비중앙 월리쉬 분포의 성질을 활용하여 GPLVMs의 사후 분포에서 기대 계량 텐서를 특성화한다.
• 이미지 회전 데이터를 사용하여 경험적으로 근사를 검증하고, 스토케스틱 및 결정론적 근사 하에서의 예상 경로 길이를 비교한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 랜덤 리만 계량의 결정론적 근사는 예상 경로 길이를 높은 정확도로 유지할 수 있는가?
• RQ2 고차원 생성 모델에서 데이터 차원에 따라 예상 경로 길이의 근사 오차는 어떻게 척도화되는가?
• RQ3 제안된 방법이 잠재 공간의 매끄러운 재파arameterization에 대해 기하 연산의 불변성을 어느 정도 보장하는가?
• RQ4 이 프레임워크는 생성 모델의 잠재 공간에서 보간 및 거리 계산과 같은 의미 있는 불변 연산을 지원할 수 있는가?
• RQ5 진짜 랜덤 리만 다양체에서의 예상 경로 길이와 그 결정론적 근사 간의 이론적 오차 경계는 무엇인가?

주요 결과

• 랜덤 리만 계량의 결정론적 근사는 예상 경로 길이 오차에 대해 날카운 경계를 제공하며, 이 경계는 생성 모델의 출력 차원인 $n$에 대해 $O(1/n)$의 척도로 증가한다.
• 이러한 오차 경계는 현대 머신러닝 응용 분야에서 흔한 고차원 설정에서 특히 날카롭게 유지된다. 예를 들어 이미지 및 신호 모델링에서 그렇다.
• 회전된 이미지 데이터에 대한 경험적 평가에서는 이론적 오차 경계와 관측된 상대 오차 사이에 강력한 일치가 나타났다.
• 이 근사는 매끄러운 재파arameterization에 대해 불변성을 유지하여, VAE와 같은 모델의 잠재 공간에서 유클리드 계량이 야기하는 모호성을 해결한다.
• 선형 사전 커널 $K(p,q) = p^T q$를 가진 GPLVM에서는 기대 계량이 일정하므로, 평균 다양체가 평평하고 직선 지오데식을 가짐을 의미한다.
• 이 프레임워크는 표준 리만 기하학 도구의 사용을 가능하게 하여, 실질적인 운영적 표현 학습을 실현 가능하게 한다.