[논문 리뷰] SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds

Hyeong‐Ju Kim, H. S. Lee외 3명|arXiv (Cornell University)|2020. 06. 08.

3D Shape Modeling and Analysis참고 문헌 28인용 수 46

한 줄 요약

SoftFlow는 perturb된 데이터의 조건부 분포를 학습하여 매니폴드에서 정규화 흐름을 학습하고, 고품질 샘플을 가능하게 하며 SoftPointFlow로 3D 포인트 클라우드까지 확장한다.

ABSTRACT

Flow-based generative models are composed of invertible transformations between two random variables of the same dimension. Therefore, flow-based models cannot be adequately trained if the dimension of the data distribution does not match that of the underlying target distribution. In this paper, we propose SoftFlow, a probabilistic framework for training normalizing flows on manifolds. To sidestep the dimension mismatch problem, SoftFlow estimates a conditional distribution of the perturbed input data instead of learning the data distribution directly. We experimentally show that SoftFlow can capture the innate structure of the manifold data and generate high-quality samples unlike the conventional flow-based models. Furthermore, we apply the proposed framework to 3D point clouds to alleviate the difficulty of forming thin structures for flow-based models. The proposed model for 3D point clouds, namely SoftPointFlow, can estimate the distribution of various shapes more accurately and achieves state-of-the-art performance in point cloud generation.

연구 동기 및 목표

• 데이터가 저차원 매니폴드에 놓일 때 차원 불일치 문제를 동기부여하고 해결한다.
• 정확한 데이터 분포가 아니라 노이즈에 조건화된 perturb된 데이터를 모델링하여 흐름을 학습하도록 SoftFlow를 제안한다.
• SoftFlow가 매니폴드 구조를 포착하고 고품질 샘플을 생성함을 입증한다.
• 얇은 구조 생성을 개선하기 위해 SoftPointFlow를 통해 SoftFlow를 3D 포인트 클라우드로 확장한다.

제안 방법

• 각 데이터 포인트에 무작위 분포에서 뽑힌 노이즈로 섞어 perturb하고 노이즈 매개변수에 흐름을 조건화한다.
• perturbed 데이터의 조건부 분포를 모델링하도록 정규화 흐름을 학습하여 perturbation을 줄여 샘플링을 가능하게 한다.
• 동역학에서 노이즈에 조건화함으로써 CNF 맥락에서 연속형 정규화 흐름에 프레임워크를 적용한다.
• SoftPointFlow에서 이 접근법을 이산 정규화 흐름에 적응시켜 3D 포인트 클라우드와 잠재 형태 변수 모델링에 사용한다.
• 잠재 변수 S와 포인트에 대한 자기회귀 디코딩 단계를 포함한 두 수준 아키텍처(PriorFlow와 DecoderFlow)를 사용한다.
• 합성 매니폴드 데이터 및 포인트 클라우드 벤치마크를 사용하여 Glow, FFJORD 및 GAN 기반 baselines와 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 정규화 흐름이 perturbation-조건부 분포를 학습하여 고차원 매니폴드에 놓인 데이터를 정확히 모델링할 수 있는가?
• RQ2 SoftFlow가 매니폴드 구조를 충실히 반영하는 샘플 생성을 가능하게 하며 모드 붕괴나 기하학적 왜곡을 피할 수 있는가?
• RQ3 기존의 흐름 기반 방법과 비교했을 때 SoftFlow 아이디어가 특히 얇은 구조의 3D 포인트 클라우드 생성을 개선할 수 있는가?

주요 결과

• SoftFlow는 매니폴드 데이터 분포를 밀접하게 따라가며 고품질 샘플을 생성하고 여러 합성 매니폴드에서 Glow 및 FFJORD를 능가한다.
• SoftPointFlow는 얇은 구조 보존에서 특히 3D 포인트 클라우드 생성을 위한 최첨단 또는 경쟁력 있는 결과를 달성한다.
• SoftPointFlow는 비행기, 의자, 자동차 범주에서 PointFlow 및 GAN 기반 기준에 비해 1-NNA(CD/EMD) 지표가 개선된다.
• 선호도 테스트에서 SoftPointFlow 샘플이 범주 전반에 걸쳐 대체로 PointFlow 재구성보다 선호된다.
• SoftFlow는 이산 및 연속 정규화 흐름 모두에 통합될 수 있는 유연하고 폭넓게 적용 가능한 접근법을 제공한다.