[논문 리뷰] CPGAN: Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis

Jiadong Liang, Wenjie Pei외 1명|arXiv (Cornell University)|2019. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 6

한 줄 요약

CPGAN은 텍스트-이미지 합성 분야에서 전체 스펙트럼의 콘텐츠 해석 프레임워크를 도입하여, 메모리 주의 메커니즘(MATE)을 통해 텍스트 입력을 동시에 해석하고, 개체 인식 이미지 인코더(OAIE)를 통해 생성된 이미지를 해석함으로써 의미적 일치도를 향상시킨다. 또한, 단어와 이미지 부분 영역 간의 정렬을 위해 세분화된 조건부 판별기(FGCD)를 활용한다. 이 방식은 COCO 데이터셋에서 Inception Score를 35.69에서 52.73으로 놈상시키며 최신 기술 수준(SoTA) 성능을 달성하였고, 의미 일致성과 이미지 현실감이 크게 향상되었다.

ABSTRACT

Typical methods for text-to-image synthesis seek to design effective generative architecture to model the text-to-image mapping directly. It is fairly arduous due to the cross-modality translation. In this paper we circumvent this problem by focusing on parsing the content of both the input text and the synthesized image thoroughly to model the text-to-image consistency in the semantic level. Particularly, we design a memory structure to parse the textual content by exploring semantic correspondence between each word in the vocabulary to its various visual contexts across relevant images during text encoding. Meanwhile, the synthesized image is parsed to learn its semantics in an object-aware manner. Moreover, we customize a conditional discriminator to model the fine-grained correlations between words and image sub-regions to push for the text-image semantic alignment. Extensive experiments on COCO dataset manifest that our model advances the state-of-the-art performance significantly (from 35.69 to 52.73 in Inception Score).

연구 동기 및 목표

• 직접 매핑을 넘어서 명시적 콘텐츠 해석을 통해 텍스트-이미지 합성에서의 다중 모odal 의미 일치 문제를 해결하고자 한다.
• 텍스트 인코딩 중 메모리 메커니즘을 통해 단어 수준의 시각적 맥락을 모델링하여 이미지 영역과의 일치도를 향상시키고, 이미지의 정밀도와 의미 일치성을 높이고자 한다.
• 생성된 이미지의 개체 인식 의미 해석을 가능하게 하여 시각적 의미 이해도를 향상시키고자 한다.
• 로컬 단어-부분 영역 상관관계를 모델링하는 세분화된 조건부 판별기를 통해 텍스트-이미지 일치도를 정교화하고자 한다.
• COCO 데이터셋에서 정량적 지표와 인간 평가 모두에서 최신 기술 수준의 성능을 달성하고자 한다.

제안 방법

• 학습 데이터 내 관련 이미지 간의 의미적 대응을 학습함으로써 각 단어에 대한 시각적 맥락을 포착하는 메모리 주의 텍스트 인코더(MATE)를 제안한다.
• 생성된 이미지를 의미적 구성 요소로 해석함으로써 더 나은 시각적 표현을 가능하게 하는 개체 인식 이미지 인코더(OAIE)를 도입한다.
• 단어와 이미지 부분 영역 간의 국소적 일치도를 평가함으로써 의미 일치도를 강화하는 세분화된 조건부 판별기(FGCD)를 설계한다.
• 콘텐츠 해석을 통한 굵은-세밀한 생성 프레임워크를 활용하여, 텍스트와 이미지 의미를 공유된 의미 공간에서 일치시킨다.
• FGCD에서 패치 기반의 판별 전략을 활용하여 모델 파라미터 수를 줄이면서도 높은 성능을 유지한다.
• GAN 프레임워크 내에서 MATE, OAIE, FGCD를 통합하여 생성 품질과 의미 일치도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 텍스트와 생성된 이미지 양쪽의 명시적 콘텐츠 해석이 텍스트-이미지 합성에서 의미 일치도를 향상시키는가?
• RQ2 텍스트 인코딩 중 단어 수준의 시각적 맥락을 효과적으로 모델링하면 이미지 영역과의 일치도가 향상되는가?
• RQ3 개체 인식 이미지 해석이 생성된 이미지의 의미 표현 수준을 어느 정도 향상시키는가?
• RQ4 로컬 단어-부분 영역 상관관계를 모델링하는 세분화된 조건부 판별기가 생성 품질과 일치도를 크게 향상시키는가?
• RQ5 전체 스펙트럼의 콘텐츠 해석이 정량적 지표와 인간 평가 모두에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• CPGAN은 COCO 데이터셋에서 최신 기술 수준의 Inception Score 52.73을 달성하여 이전 SoTA(35.69) 대비 47.74% 향상되었다.
• 모델은 R-precision 93.59%, SOA-C 77.02%, SOA-I 84.55%를 기록하여 모든 지표에서 기존 방법을 크게 능가하였다.
• 인간 평가 결과, CPGAN은 쌍대 비교에서 63.73%의 표를 확보하여 AttnGAN(28.33%)과 StackGAN(7.94%)을 압도적으로 앞섰다.
• 우수한 성능에도 불구하고 모델 파라미터 수를 318M으로 줄여 AttnGAN(956M)과 StackGAN(996M)보다 크게 감소시켰다.
• 정성적 결과는 CPGAN이 다수의 객체와 상호작용을 포함한 복잡한 장면에서도 더 현실적이고 의미적으로 일관된 이미지를 생성함을 보여주었다.
• 제거 실험 결과, MATE, OAIE, FGCD 세 구성 요소 모두가 전체 성능 향상에 기여함을 확인하였다.