[논문 리뷰] Dual Adversarial Inference for Text-to-Image Synthesis

Qicheng Lao, Mohammad Havaei외 4명|arXiv (Cornell University)|2019. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 5

한 줄 요약

이 논문은 텍스트-이미지 합성에 대해 잠재 공간에서 내용과 스타일을 분리하는 이중 적대적 추론 프레임워크를 제안한다. 내용은 텍스트 임베딩에서 학습되고, 스타일은 이미지 데이터에서 비지도 학습 방식으로 추론된다. 두 개의 독립적인 잠재 변수와 사이클 일致성과 함께 적대적 훈련을 도입함으로써, 옥스포드-102, CUB, COCO 데이터셋에서 이미지 품질이 향상되어 최신 기준(FID 점수)을 달성하며, 스타일 편집을 통해 제어 가능한 이미지 생성이 가능해진다.

ABSTRACT

Synthesizing images from a given text description involves engaging two types of information: the content, which includes information explicitly described in the text (e.g., color, composition, etc.), and the style, which is usually not well described in the text (e.g., location, quantity, size, etc.). However, in previous works, it is typically treated as a process of generating images only from the content, i.e., without considering learning meaningful style representations. In this paper, we aim to learn two variables that are disentangled in the latent space, representing content and style respectively. We achieve this by augmenting current text-to-image synthesis frameworks with a dual adversarial inference mechanism. Through extensive experiments, we show that our model learns, in an unsupervised manner, style representations corresponding to certain meaningful information present in the image that are not well described in the text. The new framework also improves the quality of synthesized images when evaluated on Oxford-102, CUB and COCO datasets.

연구 동기 및 목표

• 텍스트 기술서에서 유래된 내용과 이미지 데이터에서 추론된 스타일의 분리된 표현을 텍스트-이미지 합성에서 학습하는 것.
• 기존 방법의 한계를 해결하기 위해 노이즈를 유일한 변동성 원천으로 간주함으로써 스타일과 내용을 혼동하는 문제를 해결하는 것. 이는 종종 여분이거나 비효율적인 무작위성을 초래한다.
• 스タイル을 독립적인 잠재 변수로 명시적으로 모델링하고 비지도 적대적 추론을 통해 학습함으로써 이미지 생성 품질과 다양성을 향상시키는 것.
• 사용자가 텍스트에서 내용을 조건으로 하고 이미지에서 스타일을 조건으로 하여, 위치, 크기, 수량과 같은 속성에 대한 분리된 제어를 가능하게 하여 제어 가능한 이미지 생성을 구현하는 것.
• 핵심 구성 요소인 텍스트-이미지 판별기 D_{x,φ_t}와 사이클 일치 손실의 필요성을 제거 실험을 통해 검증하는 것.

제안 방법

• 두 개의 독립적인 잠재 변수를 도입한다: 텍스트 임베딩에서 파생된 내용(c)과 이미지 데이터에서 적대적 추론을 통해 추론된 스타일(z).
• 이중 적대적 추론 기반 메커니즘을 사용하며, 판별기 D_{x,c}는 (이미지, 추론된 내용)과 (재구성된 이미지, 진짜 내용)의 연합 분포를 매칭함으로써 분리된 표현을 강제한다.
• 사이클 일치 손실 V_{cycle}을 적용하여, 내용과 스타일로 이미지를 재구성하고 다시 인코딩했을 때 원래의 내용과 스타일을 복원함으로써 특징의 정확성을 향상시킨다.
• 잠재 공간의 비정규성과 분리도 향상을 위해 내용 표현을 정규분포가 아닌 베르누이 분포로 모델링한다.
• 생성자는 내용과 스타일에 조건을 받는 조건부 GAN 프레임워크를 사용하며, 판별기 D_{x,φ_t}는 이미지-텍스트 정렬을 보장한다.
• 이중 적대적 목적을 사용하여 이미지 생성과 잠재 공간 추론을 동시에 훈련하며, 스타일에 대한 명시적 레이블이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 노이즈를 변동성의 유일한 원천으로 간주하지 않고도 적대적 추론을 사용하여 텍스트-이미지 합성에서 내용과 스타일을 분리할 수 있는가?
• RQ2 이미지 데이터에서 스타일 표현을 비지도 방식으로 학습할 경우, 기존 GAN 기반 방법에 비해 이미지 품질과 제어 가능성 향상에 기여하는가?
• RQ3 텍스트-이미지 판별기 D_{x,φ_t}와 사이클 일치 손실은 최종 성능에 어떤 기여를 하는가? 서로 중복되는가 아니면 필수적인가?
• RQ4 분리된 스타일 표현은 의미적으로 해석될 수 있는가? 예를 들어, 생성된 이미지에서 객체의 위치, 크기, 수량을 제어할 수 있는가?
• RQ5 잠재 분포 선택(예: 베르누이 vs. 정규분포)이 분리도와 생성 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CUB 데이터셋에서 인ception 스코어 3.58 ± 0.05와 FID 18.41 ± 1.07을 달성하여 베이스라인 및 제거 실험 모델을 초월한다.
• 텍스트-이미지 판별기 D_{x,φ_t}를 제거하면 성능이 심각하게 저하되며(인ception 스코어: 3.31 ± 0.04, FID: 20.65 ± 0.47) 강력한 감독의 필요성을 입증한다.
• 사이클 일치 손실은 성능 향상에 기여하며, 이를 제거하면 약간의 성능 저하(FID: 19.29 ± 0.90)가 발생하지만 여전히 베이스라인을 초월한다.
• 적대적 사이클 손실을 l2 손실로 대체할 경우 성능이 극적으로 저하되며(인ception 스코어: 1.73 ± 0.15, FID: 149.8 ± 16.4), 더 흐릿한 이미지가 생성된다.
• t-SNE 시각화 결과는 분리도가 확인된다: 내용은 색상에 따라 군집화되어 있으며, 스타일은 산산이 흩어진 국소 군집(예: 여러 개의 꽃, 상단에 위치한 꽃 등)을 보인다.
• 모델은 텍스트에서 온 내용과 이미지에서 온 스타일을 조합하여 다양하고 고품질의 이미지를 성공적으로 생성하며, 위치, 크기, 수량과 같은 속성의 제어 가능한 편집이 가능하다.