[논문 리뷰] Training Generative Reversible Networks

Robin Tibor Schirrmeister, Patryk Chrabąszcz외 2명|arXiv (Cornell University)|2018. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 8

한 줄 요약

이 논문은 생성 모델링을 위해 적대적 autoencoder 프레임워크 내에서 가역 신경망(RevNets)을 사용하는 것을 제안한다. 이는 내장된 가역성 덕분에 별도의 인코더-디코더 네트워크 없이 엔드 투 엔드 학습을 가능하게 한다. 이 방법은 CelebA에서 VAE와 비교해 높은 품질의 일관된 얼굴을 생성하며, MNIST에 대한 개념 증명은 RevNets가 잠재 차원의 차원수를 사전 정의하지 않고도 의미 있는 분리된 잠재 차원을 학습할 수 있음을 보여준다.

ABSTRACT

Generative models with an encoding component such as autoencoders currently receive great interest. However, training of autoencoders is typically complicated by the need to train a separate encoder and decoder model that have to be enforced to be reciprocal to each other. To overcome this problem, by-design reversible neural networks (RevNets) had been previously used as generative models either directly optimizing the likelihood of the data under the model or using an adversarial approach on the generated data. Here, we instead investigate their performance using an adversary on the latent space in the adversarial autoencoder framework. We investigate the generative performance of RevNets on the CelebA dataset, showing that generative RevNets can generate coherent faces with similar quality as Variational Autoencoders. This first attempt to use RevNets inside the adversarial autoencoder framework slightly underperformed relative to recent advanced generative models using an autoencoder component on CelebA, but this gap may diminish with further optimization of the training setup of generative RevNets. In addition to the experiments on CelebA, we show a proof-of-principle experiment on the MNIST dataset suggesting that adversary-free trained RevNets can discover meaningful latent dimensions without pre-specifying the number of dimensions of the latent sampling distribution. In summary, this study shows that RevNets can be employed in different generative training settings. Source code for this study is at https://github.com/robintibor/generative-reversible

연구 동기 및 목표

• 생성용 가역 네트워크(RevNets)를 적대적 autoencoder(AAE) 프레임워크에 통합할 수 있는지 탐색하는 것. 이는 판별자에 의해 잠재 공간 분포 일치를 강제하는 방식이다.
• RevNets가 CelebA 데이터셋에서 최신 기술 기반 autoencoder 기반 생성 모델과 비교해 높은 품질의 일관성 있는 이미지를 생성할 수 있는지 평가하는 것.
• RevNets의 가역성이 적대자 없는 학습을 가능하게 하여, 사전에 잠재 차원의 차원수를 정의하지 않고도 의미 있는 분리된 잠재 차원을 발견할 수 있는지 조사하는 것. 이는 MNIST에서 입증된다.
• 기존의 가능도 기반 및 입력 적대적 학습 방법과 비교해, RevNets가 가역 생성 모델에서 사용될 경우 잠재 공간의 성능을 평가하는 것.
• RevNets의 본질적인 이항성(bijectivity)이 직접적인 입력-잠재 표현 대응을 유지하면서도 안정적이고 높은 품질의 생성을 지원할 수 있는지 평가하는 것.

제안 방법

• 각 층이 입력을 두 부분으로 분할하고 학습 가능한 함수 F와 G를 적용하여 가역성을 보장하는 가역 블록으로 구성된 가역 신경망(RevNets)을 autoencoder 아키텍처로 사용한다.
• 판별자가 진짜 잠재 코드 분포와 생성자로부터 인코딩된 잠재 코드를 구분하도록 학습되는 적대적 autoencoder(AAE) 프레임워크를 사용한다. 이는 잠재 공간이 사전 분포와 일치하도록 유도한다.
• RevNets의 가역성 덕분에 변화량 공식을 암묵적으로 적용함으로써 정확한 가능도 계산과 별도의 인코더-디코더 네트워크 없이 안정적인 학습을 가능하게 한다.
• MNIST 실험에서 계층적 잠재 공간 설계를 구현하여, 사전에 잠재 차원의 수를 정의하지 않더라도 분리된 표현을 학습할 수 있도록 한다.
• CelebA 실험에서는 점진적 학습 전략을 적용하여 점차로 해상도와 복잡도를 높여 학습 안정성과 샘플 품질을 향상시킨다.
• 생성 품질 평가의 주요 지표로 Fréchet Inception Distance(FID)를 사용하여, VAE 및 기타 autoencoder 기반 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 가역 신경망(RevNets)은 적대적 autoencoder 프레임워크에 효과적으로 통합되어 고품질의 일관성 있는 이미지 생성을 가능하게 할 수 있는가?
• RQ2 AAE 프레임워크 내에서 RevNets의 생성 성능은 FID 점수와 시각적 품질 측면에서 최신 기술 기반 autoencoder 기반 생성 모델과 비교해 어떻게 되는가?
• RQ3 MNIST에서 적대자 없는 설정에서 사전에 잠재 차원의 수를 정의하지 않더라도 RevNets가 의미 있는 분리된 잠재 표현을 발견할 수 있는가?
• RQ4 특히 분포 일치 및 샘플 다양성 측면에서, 잠재 공간에서 이항 사상(bijective mappings)을 사용할 경우의 장점과 한계는 무엇인가?
• RQ5 기존의 가역 생성 모델 연구에서 사용된 가능도 기반 및 입력 적대적 학습 방법과 비교해, AAE 프레임워크 내에서 RevNets의 성능은 어떻게 되는가?

주요 결과

• AAE 프레임워크 내에서 학습된 생성용 RevNets는 CelebA 데이터셋에서 일관성 있고 높은 품질의 얼굴 샘플을 생성하며, 변형된 Inception 거리(Fréchet Inception Distance, FID) 점수는 변분 autoencoder(VAEs)와 유사하다.
• RevNet 기반 AAE와 최신 기술 기반 생성 autoencoder 간의 성능 격차는 RevNets의 본질적 한계가 아니라 하이퍼파rameter 및 아키텍처 선택에 기인하며, 이는 자동 하이퍼파rameter 검색을 통해 향상 가능성을 시사한다.
• MNIST 데이터셋에서 적대자 없는 학습 설정을 통해 RevNets는 기울기, 두께, 크기와 같은 분리된 잠재 차원을 사전에 차원 수를 정의하지 않고도 성공적으로 학습하였다. 이는 의미 있는 표현 학습을 가능하게 한다.
• 학습된 잠재 차원은 다양한 숫자 클래스 간에 일관된 의미 해석을 보이며, 모델이 이를 명시적으로 제약하지 않았음에도 불구하고 공통된 특징인 두께와 기울기를 포함한 클래스 독립적 특징을 인코딩한다.
• 분리된 특징을 학습하는 데 성공했음에도 불구하고, MNIST에서 생성된 샘플은 다소 흐릿하고 다양성이 떨어져, 학습 안정성과 최적화 개선 여지가 있음을 시사한다.
• 본 연구는 RevNets가 AAE 프레임워크에 성공적으로 적응할 수 있음을 보여주며, 표준 autoencoder의 안정적이고 가역적인 대안을 제공함과 동시에 경쟁 가능한 생성 성능 유지를 유지하면서도, 차원 수 자유 잠재 학습과 같은 새로운 학습 패러다임을 가능하게 한다.