[논문 리뷰] Sliced Iterative Normalizing Flows

Biwei Dai, Uroš Seljak|arXiv (Cornell University)|2020. 07. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 4

한 줄 요약

이 논문은 단순한 사전 분포를 복잡한 데이터 분포로 변환하기 위해 1차원 조각별로 반복적으로 최적 운반을 적용하는 새로운 딥 생성 모델인 Sliced Iterative Normalizing Flows(SINF)을 제안한다. 각 단계에서 워샤르 거리(Wasserstein distance)를 최대화하도록 조각 방향을 선택함으로써, SINF는 GAN과 유사한 높은 수준의 샘플 품질을 달성하며, 작은 데이터셋에서도 높은 안정성과 낮은 하이퍼파rameter 민감도를 보이며 경쟁력 있는 밀도 추정 성능을 보인다.

ABSTRACT

We develop an iterative (greedy) deep learning (DL) algorithm which is able to transform an arbitrary probability distribution function (PDF) into the target PDF. The model is based on iterative Optimal Transport of a series of 1D slices, matching on each slice the marginal PDF to the target. The axes of the orthogonal slices are chosen to maximize the PDF difference using Wasserstein distance at each iteration, which enables the algorithm to scale well to high dimensions. As special cases of this algorithm, we introduce two sliced iterative Normalizing Flow (SINF) models, which map from the data to the latent space (GIS) and vice versa (SIG). We show that SIG is able to generate high quality samples of image datasets, which match the GAN benchmarks, while GIS obtains competitive results on density estimation tasks compared to the density trained NFs, and is more stable, faster, and achieves higher $p(x)$ when trained on small training sets. SINF approach deviates significantly from the current DL paradigm, as it is greedy and does not use concepts such as mini-batching, stochastic gradient descent and gradient back-propagation through deep layers.

연구 동기 및 목표

• 기존의 정규화 흐름과 GAN의 샘플 품질 및 훈련 안정성에 대한 한계를 해결하기 위해 새로운 최적화 철학을 도입한다.
• 고차원 최적 운반의 복잡성을 피하기 위해 적응 가능한 조각들에 따라 1차원 운반 문제의 시퀀스로 분해함으로써 이를 해결한다.
• 기울기 역전파를 기반으로 하지 않는 그릿(greedy) 훈련 프레임워크를 개발하여 딥 러닝의 일반적인 문제들인 소실 기울기와 모드 붕괴를 방지한다.
• 최소한의 하이퍼파rameter 민감도와 높은 무작위 시드에 대한 강건성으로 함께 생성 모델링과 밀도 추정에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 기존 분포와 목표 분포 간의 이질성을 최대화하기 위해 수직인 조각 방향을 선택하는 데 사용할 수 있는 새로운 지표인 max K-sliced Wasserstein 거리 를 제안한다.
• 선택된 조각 방향을 따라 근사 분포에 대해 반복적으로 1차원 최적 운반을 적용하며, 이는 탐욕적이고 누적적인 방식으로 변환을 업데이트한다.
• 스플라인 매개변수에 정규화를 적용하고 선형 외삽을 통해 안정성을 확보하기 위해 유리한 분수 스플라인을 1차원 커파링 흐름에 사용한다.
• 고차원 이미지에 대해 계층적 패치 기반 아키텍처를 도입하며, 큰 패치에서 시작하여 점차 작은 패치로 세밀하게 조정한다.
• 밀도 추정 작업에서는 사전 처리로 로지트 변환을 적용하고, 비모수적 밀도 추정을 위해 Scott의 규칙에 기반한 KDE 기반 대역폭 추정을 사용한다.
• GIS(데이터 → 잠재공간)와 SIG(잠재공간 → 데이터) 두 가지 변종을 훈련하며, 모두 기울기 역전파를 사용하지 않는 반복 최적화 기반으로 진행된다.

실험 결과

연구 질문

• RQ1 적응 가능한 조각에서 반복적인 1차원 최적 운반을 통해, 적대적 훈련 없이도 GAN 수준의 높은 품질의 샘플 생성이 가능할 수 있는가?
• RQ2 이 접근법은 작은 데이터셋에서도 기존의 정규화 흐름을 능가하는 경쟁력 있는 밀도 추정 성능을 달성할 수 있는가?
• RQ3 기울기 역전파와 미니배치의 부재로 인해 훈련이 훨씬 더 안정적이며 하이퍼파rameter 민감도가 낮아지는가?
• RQ4 max K-sliced Wasserstein 거리 지표는 고차원으로의 확장에 효과적으로 조각 방향을 안내할 수 있는가?
• RQ5 계층적 패치 기반 아키텍처는 CIFAR-10과 CelebA와 같은 고차원 이미지 데이터에서 성능을 어떻게 향상시키는가?

주요 결과

• SIG는 FID 및 IS 점수 측면에서 GAN 벤치마크와 유사한 고품질의 이미지 샘플을 생성하여, 적대적 훈련 없이도 강력한 생성 능력을 입증한다.
• GIS는 MNIST, CIFAR-10, CelebA에서 경쟁적인 밀도 추정 성능을 달성하며, 특히 작은 훈련 세트에서 표준 NF보다 높은 로그우도(log-likelihood)를 기록한다.
• 모델은 놀라울 정도로 높은 훈련 안정성을 보이며, 다양한 랜덤 시드와 데이터셋에서 훈련 실패가 관찰되지 않았다.
• 학습률, 정규화, 커널 대역폭과 같은 하이퍼파ram터 선택에 매우 민감하지 않으며, 다양한 설정에서도 결과가 안정되어 있다.
• 작은 데이터셋(예: 1000개 샘플)에서도 GIS는 베이스라인 NF보다 유의미하게 높은 로그우도를 기록하여 더 뛰어난 일반화 능력을 보였다.
• 패치 크기를 점차 줄이는 계층적 패치 기반 접근법(8에서 2까지)은 이미지 데이터셋에서 성능 향상을 이끌었으며, 각 패치 크기에 대해 200회 반복할 경우 최적의 결과를 얻었다.