[논문 리뷰] Autoencoding Variational Autoencoder

Ali Taylan Cemgil, Sumedh Ghaisas외 3명|arXiv (Cornell University)|2020. 12. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 15

한 줄 요약

이 논문은 자기일致성 인코딩을 강제하는 Autoencoding Variational Autoencoder (AVAE)를 소개한다. 이 방법은 VAE가 스스로 생성한 샘플을 재구성하도록 훈련시켜 표현의 강건성을 향상시킨다. 이 접근법은 적대적 훈련 없이 ColorMNIST와 CelebA에서 최고 수준의 적대적 강건성을 달성하며, 표준 VAE와 특화된 강건 모델을 모두 능가한다.

ABSTRACT

Does a Variational AutoEncoder (VAE) consistently encode typical samples generated from its decoder? This paper shows that the perhaps surprising answer to this question is `No'; a (nominally trained) VAE does not necessarily amortize inference for typical samples that it is capable of generating. We study the implications of this behaviour on the learned representations and also the consequences of fixing it by introducing a notion of self consistency. Our approach hinges on an alternative construction of the variational approximation distribution to the true posterior of an extended VAE model with a Markov chain alternating between the encoder and the decoder. The method can be used to train a VAE model from scratch or given an already trained VAE, it can be run as a post processing step in an entirely self supervised way without access to the original training data. Our experimental analysis reveals that encoders trained with our self-consistency approach lead to representations that are robust (insensitive) to perturbations in the input introduced by adversarial attacks. We provide experimental results on the ColorMnist and CelebA benchmark datasets that quantify the properties of the learned representations and compare the approach with a baseline that is specifically trained for the desired property.

연구 동기 및 목표

• 표준 VAE가 생성하는 일반적인 샘플을 일관되게 인코딩하지 못하는 이유를 조사한다. 이는 표현 품질을 약화시킨다.
• 표준 VAE에서 디코더가 생성한 샘플과 그에 해당하는 잠재 표현 간의 일관성 부족 문제를 해결한다.
• 자기일치 훈련 절차를 제안하여 자동에코딩을 강제함으로써 학습된 표현의 강건성을 향상시킨다.
• 자기일치성이 적대적 훈련 없이도 강건한 표현을 도출할 수 있음을 입증한다.

제안 방법

• 잠재변수의 사후분포를 인코더와 디코더가 번갈아 가며 진행하는 마르코프 체인으로 모델링하여 인코더와 디코더 간의 일관성을 강제하는 새로운 변분 하한을 제안한다.
• 원본 훈련 데이터에 접근할 수 없더라도 사전에 훈련된 VAE에 적용할 수 있는 자기지도(post-processing) 단계를 도입한다.
• 두 단계 훈련 과정을 사용한다: 먼저 표준 VAE를 훈련한 후, 반복적인 인코딩과 디코딩을 통해 AVAE의 자기일치 목표를 적용한다.
• 진짜 사후분포를 근사하기 위해 인코더-디코더 통과를 반복하는 마르코프 체인을 사용하여 잠재 표현을 정밀화한다.
• 훈련 중 자기일치 정규화의 강도를 제어하기 위해 온도 파라미터 ρ를 사용한다.
• 표준 VAE 훈련에 추가로, 인코더가 생성된 샘플을 다시 그 생성 잠재변수로 매핑하도록 유도하는 손실 항목을 도입한다.

실험 결과

연구 질문

• RQ1 표준 VAE는 자신이 생성한 일반적인 샘플을 일관되게 인코딩하는가, 아니면 디코더의 출력과 인코더의 추론 간에 불일치가 존재하는가?
• RQ2 VAE 프레임워크에서 자기일치성을 강제하면 학습된 표현이 적대적 흐름에 대해 더 강건해지는가?
• RQ3 원본 데이터에 접근할 수 없거나 다시 훈련하지 않고도 사후 훈련 단계에서 표현 품질을 향상시킬 수 있는가?
• RQ4 자기일치 AVAE는 적대적 훈련 모델과 비교해 강건성과 후속 작업 성능 측면에서 어떻게 다른가?
• RQ5 ρ와 ρ_SE와 같은 하이퍼파라미터가 학습된 표현의 강건성과 일반화에 어떤 영향을 미치는가?

주요 결과

• CelebA의 'Bald' 작업에서 ε=0.1 PGD 공격 조건 하에서 AVAE는 87.0%의 적대적 테스트 정확도를 달성했으며, 표준 VAE(2.1%)와 SE-AVAE(70.0%)를 모두 능가했다.
• 컨volutional 아키텍처를 사용한 ColorMNIST 데이터셋에서 AVAE는 노멀 정확도 97.8%와 ε=0.1 PGD 공격 하에서의 적대적 정확도 86.5%를 기록했으며, 표준 VAE(97.9% 노멀, 2.1% 적대적)를 크게 앞서갔다.
• 자기지도 기반 AVAE 사후처리 단계는 모든 17개의 CelebA 작업에서 후속 적대적 정확도를 향상시켰으며, 표준 VAE 대비 평균적으로 시간 요소 2.2배 향상되고 강건성도 2.2배 향상되었다.
• 적대적 데이터 없이도 AVAE는 적대적 강건성에서 최고 성능을 기록했으며, 자기일치성 자체만으로도 강건한 표현을 도출할 수 있음을 입증했다.
• 이 방법은 MLP와 VGG와 같은 다양한 아키텍처, ColorMNIST와 CelebA와 같은 다양한 데이터셋에서 효과적이며, 도메인과 모델 구조 간의 일반화 능력을 보였다.
• CelebA에서 AVAE의 FID 점수 97.92는 고품질 샘플 생성을 의미하며, 강건성도 유지하고 있어 샘플 품질과 강건성 간의 상충관계가 없음을 시사한다.