[논문 리뷰] Only Bayes should learn a manifold (on the estimation of differential geometric structure from data)

Søren Hauberg|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 15

한 줄 요약

이 논문은 고차원 데이터로부터 데이터 다양체의 진정한 리만 기하학적 구조를 신뢰성 있게 복원하는 데는 오직 확률적(Bayesian) 방법만이 가능하다고 주장한다. 비확률적 커널 방법과 딥 생성 모델은 불확실성 정량화의 부재로 인해 내재 기하학을 유지하지 못하는 반면, 베이지안 접근법은 확률적 리만 기하학을 통해 보간 및 거리 측정과 같은 의미 있는 기하학적 연산을 자연스럽게 지원한다.

ABSTRACT

We investigate learning of the differential geometric structure of a data manifold embedded in a high-dimensional Euclidean space. We first analyze kernel-based algorithms and show that under the usual regularizations, non-probabilistic methods cannot recover the differential geometric structure, but instead find mostly linear manifolds or spaces equipped with teleports. To properly learn the differential geometric structure, non-probabilistic methods must apply regularizations that enforce large gradients, which go against common wisdom. We repeat the analysis for probabilistic methods and find that under reasonable priors, the geometric structure can be recovered. Fully exploiting the recovered structure, however, requires the development of stochastic extensions to classic Riemannian geometry. We take early steps in that regard. Finally, we partly extend the analysis to modern models based on neural networks, thereby highlighting geometric and probabilistic shortcomings of current deep generative models.

연구 동기 및 목표

• 표준 비확률적 다양체 학습 방법이 데이터 다양체의 진정한 미분 기하학적 구조를 복원하지 못하는 이유를 조사하기 위해.
• 적절한 불확실성 정량화 덕분에 확률적 방법이 자연스럽게 리만 기하학적 구조를 복원할 수 있음을 보여주기 위해.
• 잠재 공간의 기하학적 구조를 완전히 활용하기 위해 스토하스틱 리만 기하학의 확장을 수립하기 위해.
• 특히 부드러움 가정과 불확실성 추정 측면에서 현재의 딥 생성 모델의 근본적인 기하학적 및 확률적 결함을 규명하기 위해.
• 불확실성 정량화가 없을 경우, 다양체 학습 방법이 내재적으로 임의의 비기하학적 표현을 생성하게 되며, 이는 데이터 다양체의 구멍을 보간하려는 편향 때문이라는 것을 주장하기 위해.

제안 방법

• 표준 정규화 하에서 커널 기반의 비확률적 방법을 분석하여, '텔레포트'를 포함한 선형 또는 인위적인 구조를 가진 다양체만 복원할 수 있음을 보여주기 위해.
• Z → X 사상의 확률적 추정을 수립하여, 이러한 방법이 잠재 공간 Z에서 진정한 리만 계량을 복원할 수 있음을 보여주기 위해.
• 불확실성이 자연스럽게 계량과 기하학적 구조를 유도하는 스토하스틱 리만 다양체의 개념을 도입하기 위해.
• 생성 모델에서의 피복 메트릭을 사용하여 내재 거리와 지오데식선을 정의하고, 비확률적 방법이 불확실성 부재로 인해 이를 왜곡함을 보여주기 위해.
• 변분 오토인코더와 신경망 기반 모델에 분석을 적용하여, 부드러움 정규화만으로도 기하학적 편향이 유도됨을 밝혀내기 위해.
• 불확실성 정량화가 연결성의 고전 기하학과 유사하게 다양체의 구멍과 경계를 드러내는 토폴로지 신호로 작용함을 제안하기 위해.

실험 결과

연구 질문

• RQ1 무한하고 노이즈가 없는 데이터가 있음에도 불구하고 비확률적 커널 방법이 왜 데이터 다양체의 진정한 리만 기하학을 복원하지 못하는가?
• RQ2 확률적 모델의 불확실성 정량화가 거리와 지오데식선과 같은 내재 기하학적 구조를 복원하는 데 어떻게 기여하는가?
• RQ3 현재의 딥 생성 모델이 기하학적 구조를 학습하는 데 있어 근본적인 한계는 무엇이며, 베이지안 접근과는 어떻게 다를까?
• RQ4 생성 모델의 잠재 공간에서 의미 있는 기하학적 연산을 지원하기 위해 스토하스틱 리만 기하학의 확장을 개발할 수 있는가?
• RQ5 VAE와 같은 모델에서 결정론적 지오데식선이 왜 다양체의 구멍을 통과하는 경향이 있으며, 불확실성은 이를 어떻게 방지하는가?

주요 결과

• 비확률적 커널 방법은 무한한 데이터가 있더라도 진정한 잠재 다양체의 리만 기하학을 복원할 수 없으며, 대신 '텔레포트'를 포함한 인위적인 구조를 생성한다.
• 확률적 방법은 자연스럽게 잠재 공간에서 진정한 리만 계량을 복원하여 잘 정의된 거리, 보간점, 측정값을 가능하게 한다.
• 표준 딥 생성 모델에서의 불확실성 정량화 부재는 지오데식선이 다양체의 구멍을 통과하는 유해한 편향을 유도한다.
• 불확실성 정량화는 다양체의 구멍과 경계를 드러내는 토폴로지 신호로 작용하며, 이는 전역적으로 일관된 기하학적 표현에 필수적이다.
• 스토하스틱 다양체에서 기대 곡선 에너지를 최소화한다고 해서 기대 곡선 길이를 최소화하는 것은 아니며, 이는 스토하스틱 리만 기하학을 위한 새로운 기하 원리가 필요함을 시사한다.
• 현재의 딥 생성 모델은 표본 경로의 불연속성과 불량한 불확실성 추정으로 인해 조작 가능한 기하학적 연산을 지원하지 못한다. 히우리스틱 불확실성 근사치를 사용하더라도 마찬가지다.