[논문 리뷰] Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network

Zizhao Zhang, Yuanpu Xie외 1명|arXiv (Cornell University)|2018. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 52

한 줄 요약

HDGAN은 텍스트 조건에서 고해상도이고 의미적으로 일관된 사진 이미지를 생성하기 위해 다중 제너레이터 스케일에서 계층적으로 중첩된 구분기(discriminators)를 도입합니다. 이는 데이터셋과 지표 전반에서 최첨단을 개선하고, 시각-의미적 유사성 평가를 새로 도입합니다.

ABSTRACT

This paper presents a novel method to deal with the challenging task of generating photographic images conditioned on semantic image descriptions. Our method introduces accompanying hierarchical-nested adversarial objectives inside the network hierarchies, which regularize mid-level representations and assist generator training to capture the complex image statistics. We present an extensile single-stream generator architecture to better adapt the jointed discriminators and push generated images up to high resolutions. We adopt a multi-purpose adversarial loss to encourage more effective image and text information usage in order to improve the semantic consistency and image fidelity simultaneously. Furthermore, we introduce a new visual-semantic similarity measure to evaluate the semantic consistency of generated images. With extensive experimental validation on three public datasets, our method significantly improves previous state of the arts on all datasets over different evaluation metrics.

연구 동기 및 목표

• Describing high-resolution, photorealistic images conditioned on descriptive text.
• 중간 수준 제너레이터 표현을 계층적 적대 제약을 사용해 정규화합니다.
• 다중 스케일 구분기가 있는 단일 스트림 제너레이터의 엔드투엔드 학습 가능.
• 다목적 적대 손실을 통해 의미적 일관성과 이미지 충실도를 향상시킵니다.
• 생성된 이미지와 텍스트 간의 정렬을 평가하기 위한 시각-의미적 유사성 지표를 도입합니다.

제안 방법

• 하나의 스트림 제너레이터를 사용해 여러 해상도에서 측면 출력이 있는 이미지 피라미드를 출력합니다.
• 각 측면 출력에 고유한 구분기를 연결해 해당 스케일에서 실제/가짜 및 이미지-텍스트 쌍 구분을 강제합니다.
• 중간 표현을 정규화하고 학습을 안정화하기 위해 계층적으로 중첩된 적대 목표를 사용합니다.
• 전역 의미 일관성은 매칭-인식 쌍 손실로, 국부 충실도는 각 스케일에서의 다중 손실로 달성합니다.
• 확률적 텍스트 임베딩과 KL 정규화를 통한 조건화 보강으로 조건화를 다양화합니다.
• 스케일 전반에 걸친 이미지-텍스트 쌍 손실과 국부 이미지 손실을 포함하는 다항식 손실로 학습합니다.

실험 결과

연구 질문

• RQ1 계층적이고 다중 스케일의 적대적 감독이 고해상도 텍스트-이미지 합성에 어떤 개선을 가져올 수 있는가?
• RQ2 다중 제너레이터 수준에서 로컬뿐만 아니라 글로벌 적대적 신호를 주입하면 의미적 충실도와 시각적 품질이 더 좋아지는가?
• RQ3 다단계 캐스케이드나 추가 감독 없이 단일 스트림 제너레이터가 고해상도이고 의미적으로 일관된 결과를 달성할 수 있는가?
• RQ4 전통적인 GAN 지표를 넘어서는 텍스트-이미지 정렬을 평가하기 위한 시각-의미적 유사성 측정의 영향은 무엇인가?

주요 결과

• HDGAN은 CUB, Oxford-102, COCO에서 여러 강력 기법보다 더 높은 Inception 점수를 달성합니다(예: CUB 4.15 ± 0.05, Oxford-102 3.45 ± 0.07, COCO 11.86 ± 0.18).
• 계층적으로 중첩된 구분기는 성능을 향상시키며, 64×64, 128×128, 256×256 해상도에서 구분기를 사용할 때 더 적은 해상도보다 강력한 결과를 얻습니다.
• 로컬 이미지 손실과 다중 스케일 다중 손실 프레임워크는 시각-의미적 일관성을 개선하고 더 자세한 구조(예: 꽃잎과 새의 자세)를 생성합니다.
• HDGAN은 시각-의미적 유사성(VS) 및 MS-SSIM을 포함한 여러 지표에서 StackGAN과 TAC-GAN을 능가하며 샘플 다양성도 향상됩니다.
• 새로운 시각-의미적 유사성 지표는 생성된 이미지와 조건부 텍스트 사이의 의미적 정렬과 상관관계가 있으며 일부 기준선보다 뛰어납니다.
• HDGAN은 문장 보간을 통한 스타일 전이가 효과적으로 나타나 잠재 공간 의미가 매끄럽다는 것을 시사합니다.