[논문 리뷰] Regularized Autoencoders via Relaxed Injective Probability Flow

Abhishek Kumar, Ben Poole외 1명|arXiv (Cornell University)|2020. 02. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 10

한 줄 요약

이 논문은 저차원 잠복공간에서 고차원 데이터로의 단사 사상(injective mapping)을 사용함으로써 역행성(flow) 모델의 이중성 제약을 완화하는 Injective Flow를 제안한다. 이는 하한이 존재하는 확률 흐름을 통한 다루기 쉬운 학습을 가능하게 하며, VAE 및 오토인코더보다 더 높은 샘플 품질을 달성하고, CIFAR-10 및 CelebA에서 최신 기준 FID 점수를 기록하면서도 압축된 잠복공간을 유지한다.

ABSTRACT

Invertible flow-based generative models are an effective method for learning to generate samples, while allowing for tractable likelihood computation and inference. However, the invertibility requirement restricts models to have the same latent dimensionality as the inputs. This imposes significant architectural, memory, and computational costs, making them more challenging to scale than other classes of generative models such as Variational Autoencoders (VAEs). We propose a generative model based on probability flows that does away with the bijectivity requirement on the model and only assumes injectivity. This also provides another perspective on regularized autoencoders (RAEs), with our final objectives resembling RAEs with specific regularizers that are derived by lower bounding the probability flow objective. We empirically demonstrate the promise of the proposed model, improving over VAEs and AEs in terms of sample quality.

연구 동기 및 목표

• 이중성 제약으로 인해 입력 차원과 잠복 차원이 같아져야 하는 역행성 플로우 모델의 높은 계산 및 메모리 비용 문제를 해결하기 위해.
• 이중성에서 단사성으로의 완화를 통해 압축된 잠복공간을 갖춘 효율적이고 확장 가능한 생성 모델링을 가능하게 하기 위해.
• 다루기 쉬운 학습 목표를 확률 흐름에서 유도하여 기존 정규화된 오토인코더에서 사용하는 정규화 전략을 자연스럽게 유도하기 위해.
• 낮은 차원의 잠복공간을 유지하면서도 VAE 및 표준 오토인코더보다 샘플 품질과 FID 점수를 향상시키기 위해.
• 유도된 정규화자와 함께 정규화된 오토인코더를 확률 흐름 목표와 연결함으로써 새로운 시각을 제공하기 위해.

제안 방법

• 저차원에서 고차원으로의 단사적이고 미분 가능한 사상 $ g: \mathbb{R}^d \to \mathbb{R}^D $를 사용하며, 여기서 $ g $ 는 그 이미지 $ g(Z) $ 에서만 역행성이 있다.
• 단사 사상에 대한 변수 변경 공식을 적용하여, 야코비안 행렬식 $ \left| \det J_g(z)^\top J_g(z) \right|^{1/2} $ 를 포함하는 로그우도 표현을 유도한다.
• 야코비안 항목을 최적화에 대해 다루기 쉽게 만들기 위해 스 tochastic 근사법을 사용하여 확률 흐름 목표의 하한을 도출한다.
• 학습 중에 단사성을 강제하기 위해 암시적 인코더와 페널티 방법을 사용하며, 학습 데이터 포인트에서 $ g(h(x)) \approx x $ 를 근사한다.
• 확률 흐름 프레임워크에서 자연스럽게 유도되는 매끄러움 정규화자 $ g $ 를 도입하며, 이는 이전 오토인코더 연구에서 사용된 정규화와 유사하다.
• 잠복공간에 대한 사전확률로 정규분포 또는 혼합정규분포를 사용하며, FID 점수 향상을 위해 샘플링을 위해 후행 적합(post-fit) 사전확률을 사용한다.

실험 결과

연구 질문

• RQ1 단사 사상이 유역성(flow-based) 생성 모델에서 이중성 사상을 대체하여 차원을 낮추고 계산 비용을 줄일 수 있는가?
• RQ2 이중성에서 단사성으로의 완화가 여전히 다루기 쉬운 학습 목표와 함께 고품질의 샘플 생성을 가능하게 하는가?
• RQ3 확률 흐름 프레임워크가 정규화된 오토인코더에서 사용되는 정규화 전략을 자연스럽게 유도하고 정당화할 수 있는가?
• RQ4 샘플 품질과 FID 점수 측면에서 Injective Flow 모델이 VAE 및 오토인코더와 비교해 어떻게 성능을 내는가?
• RQ5 저차원 잠복공간을 유지하면서도 이전의 정규화된 오토인코더보다 더 낮은 FID 점수를 달성할 수 있는가?

주요 결과

• 제안된 Injective Flow 모델은 CIFAR-10 및 CelebA에서 VAE 및 표준 오토인코더를 모두 능가하는 최신 기준 FID 점수를 기록한다.
• MNIST에서는 β-VAE와 유사한 성능을 보였지만, FID 점수 측면에서 β-VAE가 약간 우월하다.
• 적응형 정규화를 위한 데이터 의존적 λ를 사용하는 InjFlow ℓn은 고정된 λ=1을 사용하는 InjFlow보다 더 낮은 FID 점수를 기록하여 적응형 정규화의 중요성을 시사한다.
• 시각화 결과에 따르면, InjFlow 샘플은 VAE와 비교해 더 선명하고 세밀한 디테일(예: 머리카락 줄무늬)을 유지하는 경향이 있다.
• InjFlow의 재구성 결과는 VAE 및 표준 오토인코더보다 더 세밀한 디테일을 유지하며, 이는 향상된 FID 점수와 일치한다.
• 단일 정규분포 대신 후행 적합된 혼합정규분포(GMM) 사전확률을 사용할 경우 FID 점수가 추가로 향상되며, 이는 사전확률의 표현력 향상이 샘플 품질 향상에 기여함을 시사한다.