[논문 리뷰] Normalizing Flows Across Dimensions

Edmond Cunningham, Renos Zabounidis외 3명|arXiv (Cornell University)|2020. 06. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 6

한 줄 요약

이 논문은 노이즈 있는 단사 흐름(Noisy Injective Flows, NIF)을 소개한다. NIF는 단사 변환과 확률적 노이즈 모델을 사용하여 저차원 데이터 다양체를 학습할 수 있도록 정규화 흐름을 일반화한 것이다. NIF는 조절 가능한 노이즈 파라미터를 통해 다양체에서의 통제된 이탈을 允허함으로써 샘플 품질과 FID 점수를 향상시키지만, 정확한 로그우도 계산을 유지한다.

ABSTRACT

Real-world data with underlying structure, such as pictures of faces, are hypothesized to lie on a low-dimensional manifold. This manifold hypothesis has motivated state-of-the-art generative algorithms that learn low-dimensional data representations. Unfortunately, a popular generative model, normalizing flows, cannot take advantage of this. Normalizing flows are based on successive variable transformations that are, by design, incapable of learning lower-dimensional representations. In this paper we introduce noisy injective flows (NIF), a generalization of normalizing flows that can go across dimensions. NIF explicitly map the latent space to a learnable manifold in a high-dimensional data space using injective transformations. We further employ an additive noise model to account for deviations from the manifold and identify a stochastic inverse of the generative process. Empirically, we demonstrate that a simple application of our method to existing flow architectures can significantly improve sample quality and yield separable data embeddings.

연구 동기 및 목표

• 정규화 흐름이 저차원 데이터 다양체를 학습하는 데에 한계를 보이므로 고품질의 이미지 생성에 장애가 되는 문제를 해결하기 위해.
• 역행성과 정확한 로그우도 계산을 유지하면서 정규화 흐름 내에서 차원을 초월하는 변환을 가능하게 하기 위해.
• 정확한 방법론을 통해 저차원 다양체 위에 있지만 정확히 그 위에 있지 않은 데이터를 모델링하기 위해.
• 유연한 샘플링과 향상된 생성 성능를 지원하는 인fer 및 훈련을 위한 확률적 역함수를 제공하기 위해.
• 학습된 다양체에서의 통제된 이탈이 로그우도를 떨어뜨리지 않고도 FID 점수를 향상시킬 수 있는지 보여주기 위해.

제안 방법

• NIF는 저차원 잠재 공간에서 고차원 데이터 공간 내의 학습된 다양체로의 단사적, 차원 감소 변환을 사용한다.
• 실제 데이터에 노이즈가 존재하는 경우 다양체에서 벗어나는 점들을 고려하기 위해 확률적 노이즈 모델을 도입한다.
• 생성 과정의 확률적 역함수를 정의하여 훈련과 추론을 모두 확률론적으로 타당한 프레임워크 내에서 가능하게 한다.
• 최종 레이어에서 노이즈의 분산을 제어하는 단일 스칼라 파라미터 $ s $ 가 존재하여 샘플의 날카기 정도와 품질을 사후 조정할 수 있다.
• 기존의 정규화 흐름 아키텍처와 호환되며 플러그인 방식의 향상으로 적용 가능하다.
• 단사적 비이항 사상에도 불구하고 최대우도 훈련을 가능하게 하기 위해 변화변환 공식의 하한을 사용한다.

실험 결과

연구 질문

• RQ1 정규화 흐름을 저차원 데이터 다양체를 학습하면서도 정확한 로그우도 계산을 유지할 수 있도록 일반화할 수 있는가?
• RQ2 학습된 다양체에서의 이탈을 어떻게 모델링할 수 있을까? 이는 샘플 품질과 생성 성능 향상에 기여할 수 있는가?
• RQ3 단사 흐름에 대해 확률적 역함수를 정의하여 체계적인 방식으로 훈련과 추론을 지원할 수 있는가?
• RQ4 샘플링 중에 통제된 노이즈를 도입하면 로그우도를 떨어뜨리지 않고도 FID 점수를 향상시킬 수 있는가?
• RQ5 동일한 모델 아키텍처로 다양체 위의 날카운 샘플과 다양체 밖의 다양한 샘플을 모두 생성할 수 있는가?

주요 결과

• CelebA에서 NIF는 잠재 차원이 128인 기준 정규화 흐름(63.07)에 비해 Fréchet Inception Distance(FID)가 30.96으로 유의미하게 떨어졌다.
• Fashion MNIST에서 NIF는 기준 정규화 흐름의 42.77에 비해 FID 점수 23.23을 기록하여 샘플 품질 향상이 뚜렷하게 나타났다.
• 로그우도 성능은 유지되거나 약간 향상되었으며, CelebA에서 NIF-128의 비트 매 차원 값은 기준 정규화 흐름의 0.852에 비해 0.835로 나타났다.
• FID 점수는 비영인 노이즈 수준($ s \approx 0.5 $)에서 최소가 되었으며, 이는 다양체에서의 작은 이탈이 분류기 기반 지표를 향상시킬 수 있음을 시사한다.
• 다양체 위에 직접 생성된 샘플($ s = 0.0 $)은 표준 정규화 흐름의 샘플보다 시각적으로 더 날카롭고 일관성 있게 나타났다.
• CIFAR-10과 Fashion MNIST를 포함한 여러 데이터셋에서 최소한의 하이퍼파rameter 조정으로도 일관된 성능 향상이 나타났다.