[논문 리뷰] Semantic Image Synthesis via Adversarial Learning

Hao Dong, Simiao Yu외 2명|arXiv (Cornell University)|2017. 07. 21.

Generative Adversarial Networks and Image Synthesis인용 수 38

한 줄 요약

이 논문은 자연어 설명에 따라 소스 이미지의 의미적 조작을 통해 현실적인 이미지를 생성하는 GAN 기반 모델을 제안한다. 이때 비언급된 이미지 특징은 유지된다. 이미지 및 텍스트 모odal을 공동으로 인코딩하고 적대적 훈련을 사용함으로써, 목표 설명과 일치하는 다양한 고품질 이미지를 합성하며, 새 및 꽃 데이터셋에서의 사용자 평가에서 베이스라인을 능가한다.

ABSTRACT

In this paper, we propose a way of synthesizing realistic images directly with natural language description, which has many useful applications, e.g. intelligent image manipulation. We attempt to accomplish such synthesis: given a source image and a target text description, our model synthesizes images to meet two requirements: 1) being realistic while matching the target text description; 2) maintaining other image features that are irrelevant to the text description. The model should be able to disentangle the semantic information from the two modalities (image and text), and generate new images from the combined semantics. To achieve this, we proposed an end-to-end neural architecture that leverages adversarial learning to automatically learn implicit loss functions, which are optimized to fulfill the aforementioned two requirements. We have evaluated our model by conducting experiments on Caltech-200 bird dataset and Oxford-102 flower dataset, and have demonstrated that our model is capable of synthesizing realistic images that match the given descriptions, while still maintain other features of original images.

연구 동기 및 목표

• 자연어 설명에서 의미적 이미지 합성을 가능하게 하되, 텍스트에 언급되지 않은 이미지 특징를 유지한다.
• 이미지 및 텍스트 모달에서의 의미 표현을 분리하고 조합하여 제어 가능한 이미지 생성을 실현한다.
• 적대적 학습을 활용하여 암묵적이고 적응적인 손실 함수를 가지는 엔드 투 엔드 생성 모델을 개발한다.
• 미리 보지 않은 소스 이미지와 텍스트 설명으로부터 이미지를 합성함으로써 제로샷 일반화를 달성한다.
• 탄력적인 이미지 조작을 위해 생성된 이미지의 보간과 다양성을 지원한다.

제안 방법

• 모델은 조건부 GAN 프레임워크를 사용하며, 생성자는 소스 이미지와 텍스트 설명을 인코딩한 후 이를 합성 이미지로 디코딩한다.
• 이미지 및 텍스트 특징는 사전 학습된 이미지 인코더와 텍스트 인코더를 통해 별도로 인코딩된 후, 디코딩 전에 연결된다.
• 판별자는 이미지의 현실성과 주어진 텍스트 설명과의 일치성을 평가하여 공동 최적화를 가능하게 한다.
• 적대적 훈련을 통해 생성자가 현실적이면서 의미적으로 일치하는 출력으로 향하도록 이끄는 암묵적 손실 함수를 학습한다.
• 잠재 공간에서 이미지 또는 텍스트 임베딩 간 선형 보간을 통해 제로샷 보간을 지원한다.
• 동일한 소스와 설명에서 다양한 이미지 출력을 생성하기 위해 텍스트 임베딩 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 자연어 설명과 일치하면서도 비언급된 이미지 특징를 유지하는 현실적인 이미지를 생성할 수 있는가?
• RQ2 모델은 이미지 및 텍스트 모달의 의미를 얼마나 잘 분리하고 조합하여 제어 가능한 이미지 합성을 수행할 수 있는가?
• RQ3 모델은 미리 보지 않은 소스 이미지와 텍스트 설명으로 얼마나 잘 일반화되는가(제로샷 학습)?
• RQ4 이미지 또는 텍스트 임베딩 간의 부드러운 보간을 통해 연속적인 이미지 조작을 지원할 수 있는가?
• RQ5 이미지 품질, 텍스트 일치도, 특징 유지 능력 측면에서 모델은 베이스라인과 어떻게 비교되는가?

주요 결과

• 사용자 평가에서 모델은 베이스라인을 능가했으며, 새 자세에 대해 평균 품질 점수 1.61, 꽃 모양에 대해 1.55를 기록하여 우수한 특징 유지 능력을 보였다.
• 모델은 배경 세부 정보(예: 잎)를 베이스라인보다 유의미하게 더 잘 유지했으며, 새의 배경 선명도 평균 점수 1.39, 꽃의 경우 1.64를 기록했다.
• VGG 기반 손실을 적용한 결과, 배경 품질이 향상되어 새의 배경에 대해 평균 점수 1.39, 꽃의 배경에 대해 1.64를 기록했다.
• 이미지 임베딩 간 보간은 부드러운 전이를 만들어내어 연속적이고 의미 있는 잠재 다각형(manifold)을 보여주었다.
• 텍스트 임베딩 간 보간은 점진적인 의미 변화(예: 검은색 새에서 빨간색 새로)를 반영한 이미지를 성공적으로 생성했으며, 타당한 형태와 세부 정보를 유지했다.
• 동일한 소스 이미지와 텍스트 설명에서 다양한 출력을 생성함으로써, 텍스트 임베딩 증강의 효과성을 입증했다.