[논문 리뷰] Controlling Structured Output Representations from Attributes using Conditional Generative Models

Mohamed Debbagh|arXiv (Cornell University)|2023. 04. 30.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 속성 입력에서 제어 가능한 이미지 생성을 위한 조건부 변동 자동인코더(CVAE) 프레임워크를 제안하며, 분리된 잠재 표현을 활용하여 다양한 구조적 출력을 생성한다. 일항 인코딩된 속성에 조건을 두고 가중치가 부여된 변동 하한(lower bound)를 최적화함으로써, 특히 더 높은 정규화 가중치(β = 0.9)에서 샘플 품질과 분리도가 향상되지만, 희소 데이터셋에서는 고주파 수치를 포착하는 데 어려움이 남.

ABSTRACT

Structured output representation is a generative task explored in computer vision that often times requires the mapping of low dimensional features to high dimensional structured outputs. Losses in complex spatial information in deterministic approaches such as Convolutional Neural Networks (CNN) lead to uncertainties and ambiguous structures within a single output representation. A probabilistic approach through deep Conditional Generative Models (CGM) is presented by Sohn et al. in which a particular model known as the Conditional Variational Auto-encoder (CVAE) is introduced and explored. While the original paper focuses on the task of image segmentation, this paper adopts the CVAE framework for the task of controlled output representation through attributes. This approach allows us to learn a disentangled multimodal prior distribution, resulting in more controlled and robust approach to sample generation. In this work we recreate the CVAE architecture and train it on images conditioned on various attributes obtained from two image datasets; the Large-scale CelebFaces Attributes (CelebA) dataset and the Caltech-UCSD Birds (CUB-200-2011) dataset. We attempt to generate new faces with distinct attributes such as hair color and glasses, as well as different bird species samples with various attributes. We further introduce strategies for improving generalized sample generation by applying a weighted term to the variational lower bound.

연구 동기 및 목표

• 원시 이미지가 아닌 속성 입력에서 제어 가능하고 분리된 이미지 합성을 가능하게 하는 조건부 생성 모델을 개발하는 것.
• CNN과 같은 결정론적 모델의 모호함과 흐림을 해결하기 위해 깊이 있는 조건부 생성 모델을 활용한 확률적 접근을 도입하는 것.
• 변동 하한에서 재구성과 정규화 간의 트레이드오프를 조절하여 이미지 합성의 일반화 능력을 향상시키는 것.
• 다양한 조건에서 테스트된 두 개의 다양한 데이터셋—CelebA(40개의 속성이 있는 얼굴)와 CUB-200-2011(기본 속성이 있는 200종의 새)에 대한 모델 성능을 평가하는 것.
• β-가중 손실 항목이 생성된 이미지의 샘플 품질, 분리도, 구조적 정확성에 미치는 영향을 조사하는 것.

제안 방법

• 모델은 잠재 공간의 사전 분포를 일항 인코딩된 속성 벡터에 조건부로 설정하는 조건부 변동 자동인코더(CVAE) 아키텍처를 사용한다.
• 인식 모델은 입력 이미지와 해당 속성 정보를 기반으로 잠재 코드의 사후 분포를 추론하도록 훈련된다.
• 가중치가 부여된 변동 하한을 사용하며, 정규화 항(KL 발산)은 하이퍼파rameter β에 의해 스케일링되어 재구성 정확도와 잠재 공간 정규화 간의 균형을 맞춘다.
• 생성자 네트워크는 샘플링된 잠재 코드와 속성 조건을 함께 사용하여 고차원적이고 구조적인 이미지 출력을 생성한다.
• 모델은 두 개의 데이터셋—CelebA(40개의 얼굴 속성)와 CUB-200-2011(기본 속성이 있는 200종의 새)에 대해 감독된 속성 레이블을 사용하여 훈련된다.
• 훈련 과정은 재구성과 KL 손실에 β-가중치를 적용한 증거 하한(lower bound, ELBO) 최적화를 포함하며, 이는 분리되고 다양한 생성을 장려한다.

실험 결과

연구 질문

• RQ1 입력 이미지가 아닌 속성 벡터에 CVAE를 조건부로 설정할 경우, 생성된 이미지의 품질과 제어 가능성에 어떤 영향을 미치는가?
• RQ2 변동 하한에서 β-하이퍼파rameter를 변화시킬 경우 재구성 정확도와 샘플 다양성에 어떤 영향을 미치는가?
• RQ3 CVAE 프레임워크는 동일한 속성 조건 하에서 다양한 데이터셋에서 분리되고 의미 있는 이미지 변형을 생성할 수 있는가?
• RQ4 고주파 수치와 생성된 이미지의 구조적 명확도는 다양한 β 값에 따라 어떻게 변화하는가, 특히 데이터가 적은 환경에서 어떻게 되는가?
• RQ5 훈련 데이터에 완전히 포함되지 않은 새로운 속성 조합이나 희귀 속성 조합에 대해 모델이 얼마나 잘 일반화되는가?

주요 결과

• β = 0.9로 훈련된 모델이 가장 높은 샘플 품질과 구조적 명확도를 달성하여, 더 부드럽고 현실적인 이미지를 더 적은 잡음으로 생성했지만, 약간의 높은 재구성 오차를 보였다.
• β = 0.25일 때 모델은 CelebA에서 가장 낮은 평균 제곱 오차(70,444)를 기록했으며, 이는 강력한 재구성 능력을 의미하지만, 생성 과정에서 비현실적이고 흐릿하고 모호한 샘플을 생성했다.
• CVAE는 CelebA에서 다양한 속성 제어가 가능한 얼굴 샘플을 성공적으로 생성했으며, 헤어 컬러, 안경, 표정 변화 등에 대해 일관된 속성 일치를 보였다.
• CUB-200-2011 데이터셋에서는 새 종의 일반적인 색상과 구조적 속성을 포착했지만, 고주파 수치는 여전히 개선이 필요했으며, 특히 낮은 β 값에서 더욱 두드러졌다.
• β를 증가시킴으로써 과적합을 줄이고 일반화 능력을 향상시켜, 더 정규화된 잠재 공간을 형성하여 다양한 샘플링을 지원했다.
• 정성적 결과는 높은 β 값이 더 자연스럽고 구조적으로 일관된 샘플을 생성함을 보여주며, 이미지 합성의 주요 목표는 정확한 재구성보다는 정규화에 의해 더 잘 달성됨을 확인했다.