[논문 리뷰] Invariant Representations from Adversarially Censored Autoencoders

Ye Wang, Toshiaki Koike‐Akino외 1명|arXiv (Cornell University)|2018. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 12

한 줄 요약

이 논문은 MNIST의 숫자 클래스와 같은 부정적인 변수나 민감한 변수로부터 분리된 불변 표현을 학습하기 위해 조건부 변동형 오토인코더(conditional VAEs)와 적대적 캔서링을 조합하는 새로운 방법을 제안한다. 표현에서 부정적인 변수를 예측하도록 훈련된 적대적 모델과 동시에, VAE가 이 예측을 방지하도록 훈련시킴으로써, 재구성 성능의 최소한의 저하로 강력한 불변성을 달성한다. 이는 스타일 전이 및 생성 샘플링 작업에서 시각적 품질 향상으로 이어진다.

ABSTRACT

We combine conditional variational autoencoders (VAE) with adversarial censoring in order to learn invariant representations that are disentangled from nuisance/sensitive variations. In this method, an adversarial network attempts to recover the nuisance variable from the representation, which the VAE is trained to prevent. Conditioning the decoder on the nuisance variable enables clean separation of the representation, since they are recombined for model learning and data reconstruction. We show this natural approach is theoretically well-founded with information-theoretic arguments. Experiments demonstrate that this method achieves invariance while preserving model learning performance, and results in visually improved performance for style transfer and generative sampling tasks.

연구 동기 및 목표

• 정체성, 스타일, 민감한 인구 통계적 특성과 같은 부정적인 변동이나 민감한 변수에 대해 불변인 데이터 표현을 학습하는 데 도전하는 것.
• 최적화 및 모델 근사 문제로 인해 표준 조건부 VAE가 충분한 불변성을 달성하지 못하는 한계를 극복하는 것.
• 이전의 적대적 접근과 달리 생성 능력이 떨어지지 않도록 불변성을 강제함과 동시에 모델 학습 성능(예: 재구성 품질)을 유지하는 것.
• 이전의 적대적 불변 방법이 이진 또는 이산적인 민감한 변수에만 국한되는 것을 넘어서, 연속적 또는 범주형 변수로 일반화하는 것.
• 스타일 전이 및 생성 샘플링과 같은 후행 작업에서 향상된 시각적 성능을 보여주는 것.

제안 방법

• 부정적인 변수 s에 조건부로 설정된 VAE를 사용하여 표현의 분리 학습이 가능하도록 한다.
• 학습된 표현 z로부터 s를 예측하도록 적대적 네트워크를 훈련시키며, 동시에 VAE는 이 예측 성능을 최소화하도록 훈련시켜 불변성을 강제한다.
• 표준 VAE의 기초 하한 근사(ELBO)와 함께, z에 s와 관련된 정보 유출을 방지하는 적대적 손실을 결합한 훈련 목표를 설정한다.
• 이 방법은 이진 이외의 범주형 또는 연속형 부정적인 변수 모두에 적용 가능하여, 이전의 이진 민감 변수 가정을 초월한다.
• 재구성 과정에서 s와 z를 모두 사용하여 x를 복원함으로써, 데이터 재구성의 정확성을 유지하면서도 z에 포함된 불변 콘텐츠를 명확히 분리한다.
• 부가적인 적대적 모델을 통해 상호정보 I(s;z)를 교차 엔트로피를 통해 추정함으로써, 불변성의 정량적 측정치를 제공한다.

실험 결과

연구 질문

• RQ1 적대적 캔서링이 조건부 VAE가 학습한 표현의 불변성을 효과적으로 강제할 수 있는가?
• RQ2 적대적 캔서링을 조건부 VAE와 조합함으로써, 다른 불변성 방법에 비해 모델 학습 성능(예: ELBO 점수)을 더 잘 유지하는가?
• RQ3 기존 방법과 비교해 볼 때, 스타일 전이 및 생성 샘플링 작업에서 이 방법의 시각적 성능은 어떻게 되는가?
• RQ4 이전의 적대적 불변 방법이 이진 또는 이산적 변수에만 국한되는 것과 달리, 이 방법은 비이진 또는 연속적 부정적인 변수로도 일반화 가능한가?
• RQ5 적대적 손실 가중치를 변화시킬 경우, 불변성 강도와 재구성 품질 사이의 상호 상관 관계는 어떻게 되는가?

주요 결과

• 적대적으로 캔서링된 조건부 VAE는 기본적인 무조건적 VAE에 대해 97.1%의 적대적 정확도를 달성했으며, 충분한 λ 값 설정 시 근접한 우연의 정확도(약 10%)로 떨어져 강력한 불변성을 확인했다.
• λ 값을 증가시킬수록 상호정보 I(s;z)가 거의 0에 수렴함을 확인하여, z에 포함된 s 관련 정보가 효과적으로 억제됨을 입증했다.
• KL 기반의 캔서링 방식과 비교해 ELBO 점수를 훨씬 더 잘 유지했으며, 이는 명백한 품질 저하와 더러운 생성 결과를 방지했다.
• 적대적 캔서링을 통해 스타일 전이 및 생성 샘플링 작업에서 시각적 품질이 뚜렷이 향상되었으며, 특히 부분적으로 조건부 설정일 경우 두드러졌다.
• 적대적 캔서링을 적용한 무조건적 오토인코더는 성능이 급격히 떨어졌으며, 불변성을 확보하기 위해 훨씬 높은 λ 값을 필요로 함을 통해 조건부 설정의 유용성을 확인했다.
• 이 방법은 모델 학습에 거의 영향을 주지 않으면서도 불변성을 달성하여, 정량적 및 정성적 지표에서 표준 VAE 및 다른 불변 기법보다 뛰어난 성능을 보였다.