[논문 리뷰] NICE: Non-linear Independent Components Estimation

Laurent Dinh, David Krueger외 1명|arXiv (Cornell University)|2014. 10. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 1,343

한 줄 요약

NICE는 복잡한 데이터 분포를 독립적인 성분을 가진 인과적 잠재 공간으로 매핑하기 위한 비선형적이고 가역적인 변환을 학습하는 딥 생성 모델을 제안한다. 계산 가능하고 정확한 자료의 밀도를 갖는 커플링 레이어와 정확한 가능도 최적화를 통해 효율적인 훈련, 편향 없는 샘플링, 그리고 이미지 생성 및 이미지 복원 작업에서 뛰어난 성능을 달성하며, MNIST, SVHN, CIFAR-10에서 최신 기준의 가능도 점수를 기록한다.

ABSTRACT

We propose a deep learning framework for modeling complex high-dimensional densities called Non-linear Independent Component Estimation (NICE). It is based on the idea that a good representation is one in which the data has a distribution that is easy to model. For this purpose, a non-linear deterministic transformation of the data is learned that maps it to a latent space so as to make the transformed data conform to a factorized distribution, i.e., resulting in independent latent variables. We parametrize this transformation so that computing the Jacobian determinant and inverse transform is trivial, yet we maintain the ability to learn complex non-linear transformations, via a composition of simple building blocks, each based on a deep neural network. The training criterion is simply the exact log-likelihood, which is tractable. Unbiased ancestral sampling is also easy. We show that this approach yields good generative models on four image datasets and can be used for inpainting.

연구 동기 및 목표

• 비선형적이고 가역적인 변환을 학습하여 복잡한 고차원 데이터 분포를 인과적 잠재 공간으로 매핑하는 딥 러닝 프레임워크를 개발하는 것.
• 변환의 자료의 밀도가 계산적으로 다룰 수 있도록 보장함으로써 정확한 가능도 훈련을 가능하게 하는 것.
• 가역성과 계산 가능한 역변환을 유지함으로써 효율적인 조건부 샘플링과 추론을 지원하는 것.
• 명시적인 밀도 추정을 통해 의미 있는 분리된 표현을 발견함으로써 이미지 데이터셋에서 생성 모델링 성능을 향상시키는 것.
• 결손 영역의 가능도 최적화를 통해 이미지 복원과 같은 후행 작업에의 적용 가능성을 입증하는 것.

제안 방법

• 모델은 입력 데이터 $ x $ 를 잠재 변수 $ h = f(x) $ 로 매핑하는 이항성, 비선형 변환 $ f $ 를 사용하며, 가역성과 계산 가능한 자료의 밀도 계산을 보장한다.
• 입력을 두 부분으로 나누는 커플링 레이어로 구성된 변환: $ y_1 = x_1 $, $ y_2 = x_2 + m(x_1) $, 여기서 $ m $ 은 딥 신경망(예: ReLU MLP)이다.
• 이 구조는 자료의 밀도가 정확히 1이 되게 하여 로그-자료의 밀도 계산을 간단하게 하고, 변수변환 공식을 통해 정확한 가능도 평가를 가능하게 한다.
• 역변환도 간단하다: $ x_1 = y_1 $, $ x_2 = y_2 - m(y_1) $, 이로 인해 효율적인 샘플링과 추론이 가능하다.
• 모델은 정확한 가능도 $ \log p_X(x) = \log p_H(f(x)) + \log |\det \frac{\partial f(x)}{\partial x}| $ 를 최대화함으로써 훈련되며, $ p_H $ 는 인과적 사전분포(예: 표준 정규분포 또는 로지스틱 분포)로 가정된다.
• 샘플링을 위해 조건부 샘플링을 수행하며, 먼저 $ h \sim p_H(h) $ 를 샘플링하고, 그 다음 $ x = f^{-1}(h) $ 를 계산함으로써 편향 없는 생성을 보장한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 복잡한 데이터 분포를 독립적인 성분을 가진 인과적 잠재 공간으로 매핑하는 비선형적이고 가역적인 변환을 학습할 수 있는가?
• RQ2 자료의 밀도가 계산적으로 다룰 수 있으면서도 높은 표현 능력을 유지하는 정규화 플로 아키텍처를 설계하는 것은 가능한가?
• RQ3 이러한 모델은 MNIST, SVHN, CIFAR-10와 같은 표준 이미지 벤치마크에서 경쟁 가능한 가능도 성능을 달성할 수 있는가?
• RQ4 모델은 미세조정 없이도 이미지 복원과 같은 구조적 생성 작업에 효과적으로 사용될 수 있는가?
• RQ5 계산 가능한 정규화 플로를 사용한 정확한 가능도 훈련이 변분 방법보다 더 나은 분리된 표현을 도출하는가?

주요 결과

• NICE 모델은 MNIST에서 테스트 가능도 점수 1980.50 bits/dim을 기록하여 이전의 변분 경계를 사용한 방법을 초월했다.
• Tiny ImageNet 데이터셋(TFD)에서 NICE는 가능도 점수 5514.71 bits/dim을 기록했으며, 이는 이전 최고 성능인 5250 bits/dim을 상회하는 결과였다.
• SVHN에서 모델은 가능도 점수 11496.55 bits/dim를 기록하여 더 복잡한 데이터셋에서도 뛰어난 성능을 보였다.
• CIFAR-10에서 모델은 가능도 점수 5371.78 bits/dim를 기록했으며, 이는 이전 최고 성능인 3622 bits/dim(변분 하한)을 크게 뛰어넘었다.
• 조건부 샘플링을 통해 생성된 편향 없는 샘플들은 높은 시각적 품질을 보여주어 데이터 분포의 효과적인 모델링을 시사했다.
• 결손 영역의 가능도를 최대화하기 위해 경사 상승법을 사용한 복원 실험에서는, 고마스킹 비율(예: 90%)에서도 질적으로 타당한 복원 결과를 도출했지만, 일부 경우에 허구적인 모드가 관찰되었다.