[논문 리뷰] Convolutional Normalizing Flows

Guo‐qing Zheng, Yiming Yang외 1명|arXiv (Cornell University)|2017. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 11

한 줄 요약

이 논문은 1D 컨볼루션 레이어를 사용하여 단순한 사전 분포를 효율적으로 복잡한 사후 분포로 변형하는 정규화 흐름 아키텍처인 ConvFlow를 제안한다. 이는 선형 시간의 자코비안 행렬식 계산을 통해 접근 가능한 밀도 추정을 가능하게 한다. 이 방법은 변분 추론과 생성 모델링에서 MNIST 및 OMNIGLOT 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, IAF 및 Real NVP와 같은 기존의 흐름보다 뛰어나다.

ABSTRACT

Bayesian posterior inference is prevalent in various machine learning problems. Variational inference provides one way to approximate the posterior distribution, however its expressive power is limited and so is the accuracy of resulting approximation. Recently, there has a trend of using neural networks to approximate the variational posterior distribution due to the flexibility of neural network architecture. One way to construct flexible variational distribution is to warp a simple density into a complex by normalizing flows, where the resulting density can be analytically evaluated. However, there is a trade-off between the flexibility of normalizing flow and computation cost for efficient transformation. In this paper, we propose a simple yet effective architecture of normalizing flows, ConvFlow, based on convolution over the dimensions of random input vector. Experiments on synthetic and real world posterior inference problems demonstrate the effectiveness and efficiency of the proposed method.

연구 동기 및 목표

• 변분 추론을 위한 정규화 흐름에서 표현력과 계산 효율성 사이의 상충 관계를 해결하기 위해.
• 고차원 분포에 대해 빠른 자코비안 행렬식 계산을 유지하면서도 유연하면서도 효율적인 정규화 흐름 아키텍처를 개발하기 위해.
• 계산 비용을 증가시키지 않고도 잠재 변수 간의 장거리 의존성을 모델링하기 위해.
• 기존의 표준 정규화 흐름 대신 컨볼루션 기반 대안을 사용하여 변분 오토인코더에서 사후 분포 근사 정확도를 향상시키기 위해.
• 합성 및 실제 세계의 사후 추론 작업 모두에서 ConvFlow의 효과성을 입증하기 위해.

제안 방법

• 입력 벡터 차원에 1D 컨볼루션 레이어를 적용하여 효율적인 가역 변환을 가능하게 하는 정규화 흐름 아키텍처를 제안한다.
• 확장된 컨볼루션(드일레이티드 컨볼루션)을 사용하여 입력 차원 간의 장거리 상호작용을 모델링하면서도 자코비안 행렬식의 선형 시간 계산을 유지한다.
• 가역성을 보장하고 모든 차원에서 최대한의 특징 변환을 달성하기 위해 가역 잔차 블록 구조(Revert Layer)를 활용한다.
• 변환된 변수의 로그우도를 변화변수 공식을 통해 계산하며, 자코비안 행렬식은 컨볼루션 구조 덕분에 효율적으로 계산된다.
• 변분 오토인코더(VAE)와 중요도 가중치 자동인코더(IWAE)에 흐름을 통합하여 사후 근사 및 밀도 추정을 수행한다.
• 컨볼루션 인덕티브 바이어스를 활용하여 이미지와 같은 구조적 데이터의 모델링을 향상시켜 분리 가능성과 생성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 컨볼루션 기반 정규화 흐름 아키텍처는 계산 효율성을 유지하면서도 기존의 정규화 흐름보다 더 나은 사후 근사 성능을 달성할 수 있는가?
• RQ2 정규화 흐름에 확장된 컨볼루션을 사용하면 계산 비용을 증가시키지 않고도 잠재 변수의 장거리 의존성을 개선할 수 있는가?
• RQ3 이미지 데이터셋에서 IAF 및 Real NVP와 같은 기존의 흐름과 비교해 ConvFlow는 로그우도 및 생성 품질 측면에서 어떻게 성능을 내는가?
• RQ4 ConvFlow는 변분 오토인코더에서 잠재 코드의 분리 가능성과 클러스터링을 향상시킬 수 있는가?
• RQ5 VAE 및 IWAE 프레임워크에 ConvFlow를 통합하면 MNIST 및 OMNIGLOT과 같은 실제 세계 데이터셋에서 밀도 추정 성능이 향상되는가?

주요 결과

• MNIST에서 ConvFlow는 K=8일 때 테스트 세트의 음의 로그우도가 83.89를 기록하며, VAE+IAF(86.62)와 VAE+Real NVP(87.98)를 모두 초월한다.
• OMNIGLOT에서 ConvFlow는 K=8일 때 음의 로그우도가 103.49를 기록하며, VAE+IAF(105.00)와 VAE+Real NVP(106.05)를 뚜렷이 앞서며 성능을 뛰어나게 한다.
• 잠재 코드 시각화 결과에 따르면, VAE+ConvFlow는 VAE와 VAE+IAF보다 더 선명하고 분리 가능한 클러스터를 생성하여 더 나은 분리 가능성(디센트레임트)을 보였다.
• ConvFlow에서 생성된 샘플은 MNIST 및 OMNIGLOT 양쪽 모두에서 실제 훈련 데이터와 시각적으로 일관되며, 뛀난 생성 품질을 보였다.
• 확장된 컨볼루션의 사용은 OMNIGLOT과 같은 복잡한 데이터셋에서의 성능 향상으로부터 잠재 변수의 장거리 의존성 모델링이 효과적임을 입증한다.
• ConvFlow는 밀도 추정 작업에서 최신 기술 성능을 달성하여 다변량 밀도를 최소한의 파rameter 오버헤드로 변형하는 데서 그 효과성을 입증한다.