[논문 리뷰] Adversarial nets with perceptual losses for text-to-image synthesis

Miriam Cha, Youngjune Gwon외 1명|arXiv (Cornell University)|2017. 08. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 11

한 줄 요약

이 논문은 텍스트-이미지 합성에서 시각적 품질을 햖थ기 위해 인식 손실(픽셀, 특징 활성화(VGG), 텍스처(Gram 행렬))와 함께 맥락 손실을 통합한 조건부 GAN 프레임워크를 제안한다. 이 방법은 구조적 정의와 현실감을 크게 향상시켜 CUB 및 Oxford-102 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, GoogLeNet을 통한 조건부 분류 정확도는 새 85%, 꽃 89%를 기록하였다.

ABSTRACT

Recent approaches in generative adversarial networks (GANs) can automatically synthesize realistic images from descriptive text. Despite the overall fair quality, the generated images often expose visible flaws that lack structural definition for an object of interest. In this paper, we aim to extend state of the art for GAN-based text-to-image synthesis by improving perceptual quality of generated images. Differentiated from previous work, our synthetic image generator optimizes on perceptual loss functions that measure pixel, feature activation, and texture differences against a natural image. We present visually more compelling synthetic images of birds and flowers generated from text descriptions in comparison to some of the most prominent existing work.

연구 동기 및 목표

• 텍스트-이미지 합성에서 의미적 일치를 넘어서 시각적 품질을 향상시키기 위해.
• 정확한 텍스트 조건부 처리에도 불구하고 GAN에 의해 생성된 이미지의 구조적 결함과 정의 부족 문제를 해결하기 위해.
• 시각적 현실감을 향상시키기 위해 조건부 GAN에 인식 손실(픽셀, 특징, 텍스처)을 통합하기 위해.
• 다양한 인식 손실 구성 요소가 이미지 품질과 분류 정확도에 미치는 영향을 평가하기 위해.
• 기본 모델 GAN-INT-CLS에 비해 CUB 및 Oxford-102 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 맥락 손실(판별자에서 유래)과 인식 손실을 조합한 생성자 손실을 포함하는 조건부 GAN을 확장한다.
• 실제 이미지와 생성된 이미지 간의 재구성 오차를 최소화하기 위해 픽셀 수준의 L2 손실을 사용한다.
• 사전 학습된 VGG-19 네트워크를 사용해 고수준 특징을 일치시키기 위해 VGG 기반의 특징 활성화 손실을 적용한다.
• 인식적 텍스처 유사성을 유지하기 위해 그람 행렬 기반의 텍스처 손실을 통합한다.
• 맥락 손실 + 인식 손실(픽셀, VGG 또는 그람)을 조합한 손실을 사용해 생성자를 훈련시킨다.
• 훈련 중에 이미지-텍스트 쌍의 관련성을 평가하기 위해 조건부 판별자를 활용한다.

실험 결과

연구 질문

• RQ1 인식 손실은 텍스트-이미지 합성에서 GAN에 의해 생성된 이미지의 구조적 및 시각적 품질을 향상시킬 수 있는가?
• RQ2 다양한 인식 손실 구성 요소(픽셀, VGG, 그람)는 현실감과 객체 정의 향상에 어떻게 비교되는가?
• RQ3 인식 손실과 맥락 손실을 결합하면 맥락 손실만 사용할 경우보다 더 나은 이미지 품질을 얻을 수 있는가?
• RQ4 인식 손실은 생성된 이미지의 기계 분류 정확도를 얼마나 향상시키는가?
• RQ5 제한된 설명 텍스트로도 새와 꽃과 같은 다양한 이미지 클래스에 일반화 가능한가?

주요 결과

• GAN-INT-CLS-Gram 모델은 GoogLeNet에서 새 분류 정확도 85%를 기록하여 기준 모델(76%)과 다른 변종보다 뛰어난 성능을 보였다.
• GAN-INT-CLS-Gram 모델은 꽃 분류 정확도 89%를 기록하여 기준 모델(66%)과 다른 변종보다 유의미하게 높은 성능을 보였다.
• 특히 그람 행렬 기반의 텍스처 손실을 통한 인식 손실이 새와 꽃 이미지의 구조적 정의와 시각적 현실감을 향상시켰다.
• VGG 기반의 인식 손실은 픽셀 손실만 사용할 경우보다 이미지 품질을 향상시켰지만, 꽃 이미지에 대해서는 그람 손실만큼 효과적이지는 않았다.
• 정성적 결과에서는 맥락 손실과 인식 손실을 모두 통합한 이미지가 더 시각적으로 매력적이고 구조적으로 정확한 것으로 나타났다.
• 이 방법은 특히 미묘한 시각적 차이를 보이는 꽃에 대해 더 구분력 있고 클래스에 특화된 이미지를 생성함으로써 일대다 문제를 효과적으로 해결하였다.