[논문 리뷰] Flows for simultaneous manifold learning and density estimation

Johann Brehmer, K. Cranmer|arXiv (Cornell University)|2020. 03. 31.

Computational Physics and Python Applications참고 문헌 20인용 수 33

한 줄 요약

데이터 다중체를 학습하고 그 위의 해석 가능한 밀도를 갖는 다중체 학습 흐름(M-flows)을 도입하여, 다중체 학습과 밀도 추정을 분리함으로써 더 나은 추론과 노이즈 제거를 달성합니다.

ABSTRACT

We introduce manifold-learning flows (M-flows), a new class of generative models that simultaneously learn the data manifold as well as a tractable probability density on that manifold. Combining aspects of normalizing flows, GANs, autoencoders, and energy-based models, they have the potential to represent datasets with a manifold structure more faithfully and provide handles on dimensionality reduction, denoising, and out-of-distribution detection. We argue why such models should not be trained by maximum likelihood alone and present a new training algorithm that separates manifold and density updates. In a range of experiments we demonstrate how M-flows learn the data manifold and allow for better inference than standard flows in the ambient data space.

연구 동기 및 목표

• 해석 가능한 밀도를 갖는 다중체 구조를 포착하는 모델의 필요성을 동기화한다.
• 데이터 다중체를 학습하면서 다중체 위의 밀도를 유지하는 프레임워크를 제안한다.
• 최대 우도만으로는 올바른 다중체를 학습하지 못하는 학습 문제를 다룬다.
• 학습 안정화를 위한 다중체 업데이트와 밀도 업데이트를 분리한 학습 전략을 제시한다.
• M-flows가 주변 흐름 대비 다중체 학습 및 추론을 향상시킨다는 것을 입증한다.

제안 방법

• 다중체가 g(u)=f(u,0)인 레벨 세트인 미분동형사상(diffeomorphic map) f: U × V → X를 정의한다.
• 다중체 좌표 u를 n차원 흐름과 변환 h를 통해 기저 밀도 p_u와 함께 모델링한다.
• 다중체 밀도 p_M(x)는 p_u와 g의 야코비안 결정자(또는 동등하게 h)의 결정자를 통해 계산한다.
• 기저에서 û를 샘플링하고 이를 g에 적용하여 학습된 다중체 위의 x를 얻는다.
• 임의의 x를 다중체로 투사하고 재구성 오차를 얻는 인코더/디코더 쌍을 제공한다.
• 별도의 인코더를 갖는 버전(M-flow with encoder)을 제공하고 잠재 축과 다중체의 정렬에 대해 논의한다.

실험 결과

연구 질문

• RQ1 학습된 다중체를 다중체에 제한된 해석 가능한 밀도와 함께 페어링할 수 있는가?
• RQ2 다중체 업데이트를 밀도 업데이트와 분리하면 학습 안정성 및 다운스트림 추론이 향상되는가?
• RQ3 다중체 위점과 다중체 밖 점에 대한 투사, 재구성 및 밀도를 어떻게 평가할 수 있는가?
• RQ4 다중체 모양이 올바르게 형성되도록 하면서 그 위의 정확한 밀도를 유지하는 최적의 학습 전략은 무엇인가?
• RQ5 M-flows는 실험에서 주변 흐름 및 다른 다중체 인지 모델과 어떻게 비교되는가?

주요 결과

• M-flows는 저차원 다중체와 그 다중체 위에 정의된 해석 가능한 밀도를 함께 학습한다.
• 모델은 학습된 다중체로 임의의 데이터의 투사, 재구성 오차, 투사 후 다중체 위의 밀도를 제공한다.
• 단순한 우도 학습은 다중체 학습을 오도할 수 있어 다중체 구조와 밀도에 대한 분리된 업데이트를 촉진한다.
• 가우시안-원 위, 다항 면, 로렌츠 끌림자, 입자 물리, StyleGAN 다중체 및 실제 이미지를 포함한 다양한 실험에서 주변 흐름보다 다중체 인지 추론이 향상되었음을 보인다.