[논문 리뷰] Cycle-Consistent Adversarial Learning as Approximate Bayesian Inference

Louis C. Tiao, Edwin V. Bonilla외 1명|arXiv (Cornell University)|2018. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 5

한 줄 요약

이 논문은 CycleGAN을 암묵적 잠재변수모형(implicit latent variable model, ILVM) 내에서의 근사 베이지안 추론로 재구성하며, 사이클 일致성 있는 적대적 학습이 공동 분포 간 대칭 KL 발산을 최소화하는 변분 추론 방법으로 나타남을 제시한다. 이 접근법은 CycleGAN을 엄밀한 베이지안 프레임워크 아래 통합하여 이론적 기반을 제공하고, 기존 방법들에 비해 잠재 코드 복원 성능을 향상시킨다.

ABSTRACT

We formalize the problem of learning interdomain correspondences in the absence of paired data as Bayesian inference in a latent variable model (LVM), where one seeks the underlying hidden representations of entities from one domain as entities from the other domain. First, we introduce implicit latent variable models, where the prior over hidden representations can be specified flexibly as an implicit distribution. Next, we develop a new variational inference (VI) algorithm for this model based on minimization of the symmetric Kullback-Leibler (KL) divergence between a variational joint and the exact joint distribution. Lastly, we demonstrate that the state-of-the-art cycle-consistent adversarial learning (CYCLEGAN) models can be derived as a special case within our proposed VI framework, thus establishing its connection to approximate Bayesian inference methods.

연구 동기 및 목표

• 기존 방법들이 이론적 근거가 부족한 점을 해결하고, 쌍방향이 아닌 이미지 간 번역을 잠재변수모형(LVM) 내에서 베이지안 추론으로 체계화하는 것.
• 밀도 함수가 아닌 표본으로만 정의되는 암묵적 사전분포를 가진 LVM에 적합한 새로운 변분 추론(VI) 알고리즘을 개발하는 것.
• CycleGAN과 베이지안 추론 간 이론적 연결 고리를 확립하여, CycleGAN의 구성 요소들이 공동 분포의 변분 근사에서 자연스럽게 유도됨을 보여주는 것.
• 정확한 공동 분포와 근사 공동 분포 간 대칭 KL 발산을 최소화하여 잠재 표현 복원 성능을 향상시키고, 모델의 정밀도를 높이는 것.

제안 방법

• 잠재변수의 사전분포를 밀도 함수가 아닌 표본으로 정의하는 암묵적 잠재변수모형(ILVM)을 제안하여, 복잡한 분포를 더 영리하게 모델링할 수 있도록 한다.
• 기존 VI가 정방향 KL 발산을 최소화하는 데 반해, 공동 분포의 전체 근사를 대칭 KL 발산을 최소화하는 새로운 변분 추론 알고리즘을 도입한다.
• 진정한 공동 분포와 변분 근사 간의 대칭 KL 발산 최소화를 목표로 하는 변분 목표를 유도함으로써, 더 나은 지지 집합 매칭이 가능해진다.
• 이 프레임워크를 쌍방향이 아닌 이미지 번역에 적용하여, CycleGAN의 생성자 및 판별자 손실이 f-발산 근사와 사이클 일관성 제약 조건에 해당함을 보여준다.
• 정방향 및 역방향 매핑을 위한 별도의 생성자로 구성된 이중 스트림 아키텍처를 사용하며, 적대적 학습은 분포 매칭을, 사이클 일관성은 구조적 일관성을 보장한다.
• 잠재 코드 복원 목표를 도입하여 학습된 잠재공간의 품질을 검증하며, 사전 표본과 그 복원 간 평균제곱오차를 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사이클 일관성 있는 적대적 학습(CycleGAN)은 잠재변수모형 내에서 근사 베이지안 추론의 한 형태로 해석될 수 있는가?
• RQ2 사전밀도가 계산이 불가능한 암묵적 사전분포를 가진 모델에 대해 변분 추론은 어떻게 적응시킬 수 있는가?
• RQ3 표준 변분 추론에 비해 공동 분포 근사 향상에 기여하는 대칭 KL 발산의 역할은 무엇인가?
• RQ4 CycleGAN의 구성 요소인 적대적 손실과 사이클 일관성은 어떻게 베이지안 변분 추론 프레임워크에서 유도되는가?
• RQ5 이 프레임워크는 기존 방법에 비해 쌍방향 번역 작업에서 잠재 코드 복원 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 대칭 KL 기반 변분 추론 방법은 VAE 및 AVB 기준선에 비해 잠재 코드 복원 성능에서 뚜렷한 우월성을 보이며, 평균제곱오차(MSE)가 0.17로 기록되어 VAE의 0.88에 비해 뚜렷이 향상되었다.
• 관측된 이미지의 복원 MSE는 유사한 0.04를 기록했음에도 불구하고, 제안된 방법은 잠재공간에서 더 높은 정밀도를 보이며 공동 분포 근사가 더 우수함을 시사한다.
• CycleGAN은 제안된 변분 추론 프레임워크의 특수한 경우로 엄밀히 유도되었으며, 적대적 손실은 f-발산 근사에 해당하고 사이클 일관성은 로그확률 항에 해당한다.
• 제안된 방법을 통해 학습된 잠재공간은 MNIST에서 숫자 클래스를 성공적으로 분리하며, 밀도 정보 없이도 암묵적 사전분포의 형태(바나나 모양)를 유지한다.
• 정확한 관측-잠재변수 공동 분포의 충실한 근사가 가능함을 입증하며, 복원된 잠재코드가 진짜 사전 표본과 잘 일치함을 보였다.
• 이 프레임워크는 CycleGAN에 엄밀한 베이지안 해석을 제공하여 원래 제안의 이론적 모호성을 해결하고, 불확실성 정량화를 가능하게 한다.