[논문 리뷰] Residual Flows for Invertible Generative Modeling

Ricky T. Q. Chen, Jens Behrmann외 2명|arXiv (Cornell University)|2019. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 96

한 줄 요약

이 논문은 편향되지 않은, 메모리 효율적인 흐름 기반 모델인 Residual Flows를 도입하며, invertible residual networks와 러시아 룰렛 추정기를 사용해 경쟁력 있는 밀도 추정과 강력한 생성/판별 성능을 달성한다.

ABSTRACT

Flow-based generative models parameterize probability distributions through an invertible transformation and can be trained by maximum likelihood. Invertible residual networks provide a flexible family of transformations where only Lipschitz conditions rather than strict architectural constraints are needed for enforcing invertibility. However, prior work trained invertible residual networks for density estimation by relying on biased log-density estimates whose bias increased with the network's expressiveness. We give a tractable unbiased estimate of the log density using a "Russian roulette" estimator, and reduce the memory required during training by using an alternative infinite series for the gradient. Furthermore, we improve invertible residual blocks by proposing the use of activation functions that avoid derivative saturation and generalizing the Lipschitz condition to induced mixed norms. The resulting approach, called Residual Flows, achieves state-of-the-art performance on density estimation amongst flow-based models, and outperforms networks that use coupling blocks at joint generative and discriminative modeling.

연구 동기 및 목표

• 밀도 추정을 위한 유연하고 역가능한 아키텍처를 도입하되 제약이 있는 야코비 행렬 구조를 피한다.
• 표현력이 풍부한 네트워크로 최대 우도 학습을 가능하게 하는 편향되지 않은 로그-밀도 추정기를 제공한다.
• gradient 기술과 역전파 트릭을 통해 학습 중 메모리 사용을 감소시킨다.
• 도함수 포화 현상을 방지하고 유효한 노름 bound를 유지하기 위한 활성화 및 리프시치 제어를 향상시킨다.

제안 방법

• 유연한 자유형 Jacobian을 가능하게 하기 위해 Lip시치 제약을 가진 invertible residual networks를 채택한다.
• 로그 행렬식의 급수를 러시아 룰렛식 임의절단으로 편향되지 않은 로그-밀도 추정기를 도출한다.
• Jacobians의 추적을 계산하기 위해 편향되지 않은 추정기에 Skilling-Hutchinson 트레이스 추정법을 사용한다.
• 로그-행렬식 항을 통한 역전파를 통해 메모리를 줄이기 위해 네우만-계열 기반 기울기(Neumann gradient series)와 역방향-전방향 기울기를 도입한다.
• 도함수 포화를 피하면서 Lipschitz 경계를 유지하기 위한 LipSwish 활성화를 제안한다.
• 성능 향상을 위해 유도된 혼합 노름에서 Lipschitz 제약을 일반화하고 노름 차수를 학습한다.

실험 결과

연구 질문

• RQ1 편향되지 않은 추정기가 매우 표현력이 높은 가역 잔차 네트워크의 최대 우도 학습을 가능하게 할 수 있는가?
• RQ2 흐름 기반 모델의 로그-행렬식 항에 대한 메모리 효율적인 역전파를 어떻게 달성할 수 있는가?
• RQ3 적절한 활성화를 가진 Lipschitz 제약 잔차 블록이 결합 기반 흐름에 비해 밀도 추정 및 샘플 품질을 향상시키는가?
• RQ4 혼합 노름 Lipschitz 제약을 효과적으로 학습할 수 있으며 데이터셋 전반에서 성능을 향상시키는가?

주요 결과

• Residual Flows는 MNIST, CIFAR-10, 이미지넷 다운샘플링, CelebA-HQ에서 최첨단 흐름 모델과 비교하여 밀도 추정 성능이 경쟁력 있거나 우수하다.
• 러시아 룰렛 스타일의 절단을 갖춘 편향되지 않은 로그-밀도 추정기가 표현력 있는 i-ResNet 계열 아키텍처에 대해 진정한 최대 우도 학습을 가능하게 한다.
• 메모리 효율적인 역전파 기법(네우만 기울기 시퀀스 및 역에서 전방으로의 기울기)으로 피크 메모리 사용량이 크게 감소한다.
• LipSwish 활성화는 도함수 포화를 줄이고 높은 Lipschitz 제약 하에서 학습 안정성과 성능을 향상시킨다.
• 하이브리드 모델링에서 잔차 블록은 MNIST 및 CIFAR-10을 포함한 공동 생성-판별 작업에서 커플링 블록보다 우수한 성능을 보인다.