[논문 리뷰] CDVAE: Co-embedding Deep Variational Auto Encoder for Conditional Variational Generation

Jiajun Lu, Aditya Deshpande외 1명|arXiv (Cornell University)|2016. 12. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 3

한 줄 요약

이 논문은 잠재 코드 공간의 유사도를 유지하고 다중 모달 출력을 위해 혼합 밀도 네트워크(MDN)를 사용함으로써 조건부 생성에서 코드 공간 붕괴를 방지하는 공통 임bedding을 갖춘 딥 변동 자동인코더(CDVAE)를 제안한다. CDVAE는 입력의 유사도를 코드 공간에서 유지하고, 다중 모달 출력을 위해 MDN을 활용함으로써 이미지 재조명 및 재포화 작업에서 우수한 다양성과 품질을 달성하며, 정량적 및 정성적 평가에서 강력한 베이스라인을 능가한다.

ABSTRACT

Problems such as predicting a new shading field (Y) for an image (X) are ambiguous: many very distinct solutions are good. Representing this ambiguity requires building a conditional model P(Y|X) of the prediction, conditioned on the image. Such a model is difficult to train, because we do not usually have training data containing many different shadings for the same image. As a result, we need different training examples to share data to produce good models. This presents a danger we call "code space collapse" - the training procedure produces a model that has a very good loss score, but which represents the conditional distribution poorly. We demonstrate an improved method for building conditional models by exploiting a metric constraint on training data that prevents code space collapse. We demonstrate our model on two example tasks using real data: image saturation adjustment, image relighting. We describe quantitative metrics to evaluate ambiguous generation results. Our results quantitatively and qualitatively outperform different strong baselines.

연구 동기 및 목표

• 학습 데이터가 산재해 있고 입력당 다중 출력이 부족한 시각 작업에서 다중 모달 조건부 분포를 학습하는 데 도전하는 것.
• 조건부 VAE에서 발생하는 '코드 공간 붕괴'—잠재 변수를 무시하고 낮은 다양성의 출력을 생성하는 실패 모드—를 식별하고 완화하는 것.
• 유사한 입력이 유사한 코드를 생성하고, 비유사한 입력이 비유사한 코드를 생성하도록 제약을 걸어 일반화 능력과 다양성을 향상시키는 것.
• 제한된 쌍화된 학습 데이터가 있는 상황에서도 입력 이미지에 조건부로 공간 필드(예: 조명, 포화도)를 고품질로 다양하게 생성할 수 있는 방법을 개발하는 것.

제안 방법

• CDVAE는 유사한 입력이 유사한 코드로 매핑되고, 비유사한 입력이 비유사한 코드로 매핑되도록 코드 공간에 메트릭 제약을 도입한다.
• 모델은 입력 이미지 $ X $ 로부터 코드 $ c(x) $ 를 생성하기 위해 딥 인코더를 사용하며, 이 코드는 이후 다중 모달 출력 $ Y $ 를 모델링하기 위해 혼합 밀도 네트워크(MDN)의 입력으로 사용된다.
• MDN 구성요소는 가우시안 혼합의 혼합 파라미터(평균, 분산, 가중치)를 예측함으로써 조건부 분포 $ P(Y|X) $ 를 명시적으로 모델링하여 다양한 구조적 출력을 가능하게 한다.
• 재구성 손실은 진짜 출력에 대한 충실도를 보장하고, KL 발산 항은 잠재 코드 분포가 표준 정규분포와 일치하도록 정규화한다.
• 메트릭 제약은 비슷한 입력의 코드를 끌어당기고, 비유사한 입력의 코드를 밀어내는 대비 손실로 구현된다.
• 모델은 백프로파게이션을 사용해 엔드 투 엔드로 훈련되며, 메트릭 제약이 유사한 입력에 대해 단일 코드로 붕괴되는 것을 방지한다.

실험 결과

연구 질문

• RQ1 코드 공간 붕괴를 방지함으로써 산재한 학습 데이터에 대해 강건한 조건부 변동 자동인코더를 만들 수 있는가?
• RQ2 코드 공간에 메트릭 제약을 적용하면 모호한 시각 작업에서 조건부 생성의 다양성과 품질이 어떻게 향상되는가?
• RQ3 유사한 입력에 대해 코드 유사도를 강제로 적용하면 이미지 재조명 및 재포화에서 일반화 능력 향상과 아티팩트 감소에 어느 정도 기여하는가?
• RQ4 메트릭 제약이 있는 코드 공간과 함께 혼합 밀도 네트워크를 사용하면 기존의 CVAE나 GAN 기반 접근법보다 더 나은 다중 모달 모델링이 가능한가?

주요 결과

• CDVAE는 모든 샘플 수에서 사진 재조명 및 이미지 재포화 작업에서 가장 낮은 최적 오차를 기록했으며, 100개 샘플일 때 각각 1.11과 3.82 (×10⁻²)의 오차를 기록했다.
• 100개 샘플에 대한 예측의 분산은 CDVAE가 재조명에서 1.77, 재포화에서 3.55로 CVAE(0.19 및 1.20)보다 일관되게 낮아, 더 높은 다양성과 모드 붕괴 감소를 나타낸다.
• 정성적 결과에서는 CVAE와 CGAN이 모드 붕괴를 겪고 낮은 다양성과 아티팩트가 많은 출력을 생성하는 반면, CDVAE는 더 다양한 공간적으로 일관된 현실적인 결과를 생성한다.
• 제거 실험 결과, 임bedding 가이던스를 제거하면 다양성이 감소하고 아티팩트가 증가함을 확인하여, 메트릭 제약이 코드 공간의 구조를 유지하는 데 중요함을 입증한다.
• 12개 임베딩 차원을 가진 CDVAE12는 오차와 분산 사이의 최적의 트레이드오���을 달성하여 모든 지표에서 CVAE와 기준 GAN을 능가한다.
• 모델은 입력의 변형에 대해 강건하며, 코드가 붕괴된 모델이 소규모 입력 변화에 대해 불안정하거나 동일한 출력을 생성하는 것과 달리, 일관된 출력 다양성을 유지한다.