[논문 리뷰] C4Synth: Cross-Caption Cycle-Consistent Text-to-Image Synthesis

K J Joseph, Arghya Pal외 2명|arXiv (Cornell University)|2018. 09. 20.

Multimodal Machine Learning Applications참고 문헌 19인용 수 4

한 줄 요약

C4Synth는 이미지당 다수의 캡션을 활용하여 교차 캡션 순환 일致 학습을 통해 이미지 품질과 다양성을 향상시키는 새로운 텍스트-이미지 생성 프레임워크를 제안한다. 보완적인 캡션 정보를 기반으로 반복적으로 이미지 특징을 개선하는 계단식 및 순환 아키텍처를 사용함으로써, CUB 및 옥스포드-102 데이터셋에서 최신 기술 수준의 Inception 점수를 달성하며, 미학습 클래스에 대한 제로샷 일반화 성능을 보인다.

ABSTRACT

Generating an image from its description is a challenging task worth solving because of its numerous practical applications ranging from image editing to virtual reality. All existing methods use one single caption to generate a plausible image. A single caption by itself, can be limited, and may not be able to capture the variety of concepts and behavior that may be present in the image. We propose two deep generative models that generate an image by making use of multiple captions describing it. This is achieved by ensuring 'Cross-Caption Cycle Consistency' between the multiple captions and the generated image(s). We report quantitative and qualitative results on the standard Caltech-UCSD Birds (CUB) and Oxford-102 Flowers datasets to validate the efficacy of the proposed approach.

연구 동기 및 목표

• 이미지당 단일 캡션을 사용하는 텍스트-이미지 생성의 의미적 한계를 다수의 보완적 캡션을 활용하여 해결하기 위해.
• 교차 캡션 일관성 모델링을 통해 텍스트 기술과 시각적 콘텐츠 간의 의미적 갭을 줄이기 위해.
• 고정된 아키텍처의 제약을 초월하여 입력 캡션 수에 유연하게 대응할 수 있는 확장 가능한 아키텍처를 개발하기 위해.
• 캡션 피드백을 활용해 반복적으로 이미지 특징을 개선하여 더 현실적이고 다양한, 더 구체적인 이미지를 생성하기 위해.

제안 방법

• C4Synth는 생성된 이미지와 다수의 캡션 간에 순환 일관성 손실을 적용하여, 캡션-이미지 및 이미지-캡션 매핑이 의미적 일관성을 유지하도록 보장한다.
• 계단식 아키텍처는 다수의 생성자-판별자 쌍을 사용하여 캡션 임베딩과 이력 블록을 조건으로 하여 캡션을 순차적으로 처리한다.
• 순환 변형인 Recurrent-C4Synth는 이전 캡션 처리의 기억을 유지하기 위해 은닉 상태를 사용하며, 입력 캡션 수에 유연하게 대응할 수 있도록 한다.
• 조건부 설정에서 생성적 적대 신경망(GANs)을 사용하여 텍스트 임베딩에서 256×256 픽셀 이미지를 생성한다.
• 교차 캡션 순환 일관성은 순환 맵핑 G₂∘F₂∘G₁∘F₁(t) ≈ t를 통해 강제로 구현되며, 캡션 간 의미적 일관성을 보장한다.
• 정밀 조정된 Inception 네트워크를 사용하여 정량적 평가를 위한 Inception 점수를 계산한다.

Figure 1: The figure shows two images generated by C4Synth. The corresponding captions that are used while generating images are listed on the left side. (Best viewed in color.)

실험 결과

연구 질문

• RQ1 동일한 이미지를 설명하는 다수의 캡션은 단일 캡션 기반 방법에 비해 생성된 이미지의 품질과 다양성 향상에 기여하는가?
• RQ2 텍스트-이미지 합성에 있어서 다수의 캡션 간 순환 일관성 학습을 심층 생성 모델에 어떻게 수식화하고 강제로 적용할 수 있는가?
• RQ3 순환 아키텍처는 아키텍처 제약 없이 다양한 수의 입력 캡션을 효과적으로 처리할 수 있는가?
• RQ4 모델은 제로샷 설정에서 미학습 클래스로 얼마나 잘 일반화되는가?

주요 결과

• Recurrent-C4Synth는 옥스포드-102 플라워스 데이터셋에서 최신 기술 수준의 Inception 점수 3.52 ± 0.15를 달성하여 이전 방법들을 능가했다.
• CUB 데이터셋에서 Recurrent-C4Synth는 Inception 점수 4.07 ± 0.13을 기록했으며, 이는 이전 최신 기술 수준인 HD-GAN과 거의 동일한 성능을 보였다.
• Cascaded-C4Synth와 Recurrent-C4Synth 모두 두 데이터셋에서 기준선 방법 5종 중 4종을 초월한 Inception 점수를 확보했다.
• 모델은 제로샷 일반화 기능을 보이며, CUB 및 옥스포드-102 데이터셋에서 학습 중에 볼 수 없었던 클래스에 대해서도 고품질 이미지를 생성했다.
• 정성적 결과는 Recurrent-C4Synth에서 시간 단계에 따라 점진적인 이미지 개선이 이루어지는 것을 보여주며, 각 캡션마다 이미지의 세부 사항 향상에 기여함을 확인했다.
• 동일한 캡션을 다양한 노이즈 벡터로 조건화하여 동일한 객체의 스타일링된 변형, 다른 자세 및 배경을 가진 이미지를 생성할 수 있었다.

(a) $Legend:\{\textbf{t}_{i}\}:\text{True Captions; }\{\hat{\textbf{t}}_{i}\}:\text{Generated Captions; }\{\hat{\textbf{I}}_{i}\}:\text{Generated Images; }\textbf{I}:\text{True Image; }\newline \text{CCCL: Cross-Caption Cycle Consistency Loss;}\text{ DL: Discriminator Loss.}$