[논문 리뷰] DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation

Zhenxing Zhang, Lambert Schomaker|arXiv (Cornell University)|2020. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 38

한 줄 요약

DTGAN은 채널 인지 주의 및 픽셀 인지 주의 모듈을 사용하여 텍스트에서 이미지로의 생성을 위한 단일 생성자/판별자 프레임워크를 제안한다. 이는 의미 일致성과 이미지 품질을 향상시킨다. 조건부 적응형 인스턴스-레이어 정규화(CAdaILN)와 새로운 시각적 손실을 통합함으로써, CUB 및 COCO 데이터셋에서 최신 기술 수준(FID 점수)을 달성하며, 다단계 모델보다 향상된 학습 안정성과 해상도 정확도를 제공한다.

ABSTRACT

Most existing text-to-image generation methods adopt a multi-stage modular architecture which has three significant problems: 1) Training multiple networks increases the run time and affects the convergence and stability of the generative model; 2) These approaches ignore the quality of early-stage generator images; 3) Many discriminators need to be trained. To this end, we propose the Dual Attention Generative Adversarial Network (DTGAN) which can synthesize high-quality and semantically consistent images only employing a single generator/discriminator pair. The proposed model introduces channel-aware and pixel-aware attention modules that can guide the generator to focus on text-relevant channels and pixels based on the global sentence vector and to fine-tune original feature maps using attention weights. Also, Conditional Adaptive Instance-Layer Normalization (CAdaILN) is presented to help our attention modules flexibly control the amount of change in shape and texture by the input natural-language description. Furthermore, a new type of visual loss is utilized to enhance the image resolution by ensuring vivid shape and perceptually uniform color distributions of generated images. Experimental results on benchmark datasets demonstrate the superiority of our proposed method compared to the state-of-the-art models with a multi-stage framework. Visualization of the attention maps shows that the channel-aware attention module is able to localize the discriminative regions, while the pixel-aware attention module has the ability to capture the globally visual contents for the generation of an image.

연구 동기 및 목표

• 다단계 텍스트-이미지 GAN에서의 불안정성, 높은 계산 비용, 그리고 초기 단계에서의 낮은 이미지 품질 문제를 해결하기 위해.
• 다중 생성자나 판별자를 사용하지 않고도 텍스트 기술서와 생성된 이미지 간의 의미 일致성을 향상시키기 위해.
• 형상과 색상 균일성을 유지하는 새로운 시각적 손실을 통해 이미지 품질을 향상시키기 위해.
• 조건부 정규화를 사용하여 질감과 형상 변화에 대한 세밀한 제어를 가능하게 하기 위해.

제안 방법

• 전체 문장 벡터와 특징 맵 간의 주의 가중치를 계산하는 채널 인지 주의 모듈을 도입하여 텍스트 관련 채널을 강조한다.
• 공간 주의 맵을 생성하여 생성자에게 전역적으로 눈에 띄는 이미지 영역으로 유도하는 픽셀 인지 주의 모듈을 활용한다.
• 문장 벡터를 사용하여 인스턴스 정규화와 레이어 정규화를 적응적으로 융합하는 조건부 적응형 인스턴스-레이어 정규화(CAdaILN)를 제안한다. 이는 특징 조절을 제어한다.
• 생성된 이미지와 진짜 이미지의 깊은 특징 간의 L1 거리에 기반한 새로운 시각적 손실을 설계하여, 지각적 품질과 색상 분포를 향상시킨다.
• 다단계 아키텍처를 대체하기 위해 통합된 생성자/판별자 쌍을 사용하여 학습 복잡도를 감소시키고 수렴성을 향상시킨다.
• 특징 맵을 대체하는 대신 주의 맵을 직접 사용하여 특징 맵을 정밀하게 보정함으로써 더 정확한 특징 정제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다단계 학습 없이도 단일 생성자/판별자 쌍이 텍스트-이미지 생성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 어떻게 주의 메커니즘을 설계하여 의미 일치성과 이미지 세부 사항 품질을 모두 향상시킬 수 있는가?
• RQ3 새로운 시각적 손실이 생성된 이미지의 형상과 색상 정확도에 어떤 영향을 미치는가?
• RQ4 CAdaILN은 질감과 형상 조절을 제어하는 데 있어 표준 정규화 레이어와 비교해 어떻게 성능을 냈는가?
• RQ5 이중 주의 모듈이 다양한 이미지 스케일에서 특징 정제를 얼마나 향상시키는가?

주요 결과

• DTGAN은 CUB 데이터셋에서 프레셰 이너셉션 거리(FID) 16.35를 기록하여 기존 최신 기술 수준의 모델을 초월한다.
• CUB에서 모델은 인ception 스코어(IS) 4.88을 기록하여 고품질이고 다양한 이미지 생성 능력을 입증한다.
• 제거 분석 결과, 문장 수준 조절 조건이 적용된 CAdaILN은 배치 정규화 기반 모델 대비 IS를 0.17 향상시키고 FID를 3.27 감소시킴을 확인하였다.
• 시각적 비교에서 시각적 손실 모듈이 이미지 품질을 크게 향상시킴을 확인하였으며, 더 선명한 형상과 지각적으로 균일한 색상 분포를 제공한다.
• 주의 맵 시각화 결과 채널 인지 주의는 특징적인 부분(예: 부리, 눈)을 국소화하는 반면, 픽셀 인지 주의는 전반적인 이미지 구조를 포괄함을 확인하였다.
• 시각적 손실이 없는 모델은 현실적인 형상을 띤 긴 날개를 가진 새를 생성하지 못하며 색상 세부 정보가 빈약한 문제를 겪는다. 이는 시각적 손실의 핵심적 역할을 확인한다.