[논문 리뷰] SegAttnGAN: Text to Image Generation with Segmentation Attention

Yuchuan Gou, Qiancheng Wu외 3명|arXiv (Cornell University)|2020. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 6

한 줄 요약

이 논문은 세그멘테이션 맵을 공간적 주의 지도로 통합하여 이미지의 현실성과 레이아웃 일관성을 향상시키는 텍스트-이미지 생성 모델인 SegAttnGAN을 제안한다. 텍스트 기반 및 세그멘테이션 기반 주의를 모두 활용함으로써, CUB에서 4.84, Oxford-102에서 3.52의 최신 기술(SOTA) Inception 스코어를 달 đạt하였으며, 엔드 투 엔드로 마스크를 생성하는 자기 주의 변종은 고성능 출력을 유지하면서도 추론 시 진정한 마스크에 대한 의존도를 감소시켰다.

ABSTRACT

In this paper, we propose a novel generative network (SegAttnGAN) that utilizes additional segmentation information for the text-to-image synthesis task. As the segmentation data introduced to the model provides useful guidance on the generator training, the proposed model can generate images with better realism quality and higher quantitative measures compared with the previous state-of-art methods. We achieved Inception Score of 4.84 on the CUB dataset and 3.52 on the Oxford-102 dataset. Besides, we tested the self-attention SegAttnGAN which uses generated segmentation data instead of masks from datasets for attention and achieved similar high-quality results, suggesting that our model can be adapted for the text-to-image synthesis task.

연구 동기 및 목표

• 텍스트-이미지 합성에서 기형적인 객체 형태와 현실적이지 않은 이미지 레이아웃 문제를 해결하기 위해.
• GAN 훈련 중 세그멘테이션 맵을 공간적 지도로 통합하여 이미지의 현실성과 의미 일관성을 향상시키기 위해.
• 진정한 마스크에 의존하지 않고도 엔드 투 엔드로 세그멘테이션 마스크를 생성하는 자기 주의 변종을 개발하기 위해.
• 세그멘테이션 기반 주의가 시각적 품질과 정량적 지표 양면에서 텍스트-이미지 생성에 향상된 영향을 미치는지 검증하기 위해.

제안 방법

• 생성자에서 세그멘테이션 맵을 공간적 주의 맵으로 통합하여 특징 정련 및 객체 레이아웃 학습을 유도한다.
• 조건부 생성을 위해 단어 수준 및 문장 수준의 특징을 추출하기 위해 LSTM 기반 텍스트 인코더를 사용한다.
• 입력 세그멘테이션 마스크를 이용해 요소별 곱셈과 잔여 연결을 통해 특징 맵을 조절하는 세그멘테이션 주의 모듈을 적용한다.
• 노이즈와 텍스트에서 세그멘테이션 마스크를 예측하는 자기 주의 생성자를 사용하여 이미지 생성에 활용한다.
• 다중 척도 특징 맵과 주의 메커니즘을 결합한 조건부 GAN 훈련을 통해 정밀도와 일치도를 향상시킨다.
• 이미지 품질과 텍스트-이미지 일치도 평가를 위해 Inception 스코어와 R-precision을 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 세그멘테이션 맵은 텍스트-이미지 합성에서 생성된 이미지의 현실성과 레이아웃 일관성에 향상 효과를 줄 수 있는가?
• RQ2 세그멘테이션 기반 공간적 주의의 통합은 생성된 이미지의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 자기 주의 생성자는 진정한 마스크 없이도 효과적으로 이미지 생성을 유도할 수 있는 고성능 세그멘테이션 마스크를 생성할 수 있는가?
• RQ4 제안된 방법은 정량적 지표와 시각적 품질 양면에서 기존 최신 기술 모델을 초월하는가?

주요 결과

• SegAttnGAN은 CUB 데이터셋에서 4.84의 Inception 스코어를 달성하여 기준 모델인 AttnGAN(4.36)과 다른 최신 기술 모델을 모두 능가했다.
• Oxford-102 데이터셋에서는 SegAttnGAN이 3.52의 Inception 스코어를 기록하여 비교된 모든 모델을 압도했다.
• 자기 주의 변종인 SegAttnGAN은 CUB에서 4.44, Oxford-102에서 3.34의 Inception 스코어를 기록하여 추론 시 진정한 세그멘테이션 마스크가 없더라도 뛰어난 성능을 보였다.
• R-precision 스코어는 SegAttnGAN이 강력한 텍스트-이미지 일치도를 유지하고 있음을 보여주었으며, CUB에서 52.71%를 기록하여 기준 모델인 AttnGAN(53.31%)과 유사한 성능을 보였다.
• StackGAN++에 세그멘테이션 주의 모듈을 적용함으로써 Inception 스코어가 3.82에서 4.31로 상승하여 광범위한 호환성과 효과성을 입증했다.
• 정성적 결과는 세그멘테이션 맵이 객체 형태를 효과적으로 제약함을 확인하였으며, 자기 주의 변종은 예측된 마스크를 사용함에도 불구하고 현실적인 이미지를 생성함을 보여주었다.