[논문 리뷰] Generative Semantic Manipulation with Contrasting GAN

Xiaodan Liang, Hao Zhang외 1명|arXiv (Cornell University)|2017. 08. 01.

Generative Adversarial Networks and Image Synthesis인용 수 27

한 줄 요약

이 논문은 대조적 특징 거리 최적화를 통해 실재의 타겟 클래스 이미지보다 입력 이미지보다 생성된 이미지가 더 가까워지도록 하여, 고체 형태와 시점 유지 조건 하에서 고차원 의미적 변화(예: 고양이 → 개 또는 자전거 → 오토바이)를 가능하게 하는 대비 GAN(contrast-GAN)을 제안한다. ImageNet 및 MSCOCO 데이터셋에서 기존 GAN보다 뛰어난 시각적 정확도와 의미적 정확도를 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) have recently achieved significant improvement on paired/unpaired image-to-image translation, such as photo$ ightarrow$ sketch and artist painting style transfer. However, existing models can only be capable of transferring the low-level information (e.g. color or texture changes), but fail to edit high-level semantic meanings (e.g., geometric structure or content) of objects. On the other hand, while some researches can synthesize compelling real-world images given a class label or caption, they cannot condition on arbitrary shapes or structures, which largely limits their application scenarios and interpretive capability of model results. In this work, we focus on a more challenging semantic manipulation task, which aims to modify the semantic meaning of an object while preserving its own characteristics (e.g. viewpoints and shapes), such as cow$ ightarrow$sheep, motor$ ightarrow$ bicycle, cat$ ightarrow$dog. To tackle such large semantic changes, we introduce a contrasting GAN (contrast-GAN) with a novel adversarial contrasting objective. Instead of directly making the synthesized samples close to target data as previous GANs did, our adversarial contrasting objective optimizes over the distance comparisons between samples, that is, enforcing the manipulated data be semantically closer to the real data with target category than the input data. Equipped with the new contrasting objective, a novel mask-conditional contrast-GAN architecture is proposed to enable disentangle image background with object semantic changes. Experiments on several semantic manipulation tasks on ImageNet and MSCOCO dataset show considerable performance gain by our contrast-GAN over other conditional GANs. Quantitative results further demonstrate the superiority of our model on generating manipulated results with high visual fidelity and reasonable object semantics.

연구 동기 및 목표

• 객체 기하학적 형태와 시점 유지 조건 하에서 대규모 의미적 변화(예: 고양이 → 개)를 수행할 수 있는 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 기존 GAN이 색상이나 질감과 같은 저수준 특징만 수정할 수 있는 한계를 극복하기 위해.
• 고정 레이블이나 캡션 대신 복잡하고 구조화된 조건(예: 객체 마스크)을 사용하는 조건부 이미지 합성 방법을 개발하기 위해.
• 마스크 조건부 아키텍처를 통해 배경과 객체 수준의 의미적 편집을 분리하기 위해.
• 비지도 이미지 생성에서 비교적 특징 거리 기반 학습을 통해 해석 가능성과 제어력을 향상시키기 위해.

제안 방법

• 생성 샘플, 입력 이미지, 실재 타겟 클래스 이미지 간의 특징 공간 내 상대적 거리 비교를 통해 최적화하는 새로운 적대적 대비 목적함수를 제안한다.
• 모든 의미적 클래스에 공통으로 사용되는 조건부 생성자로, 타겟 카테고리와 객체 마스크에 따라 국소적 편집을 가능하게 한다.
• 생성된 이미지가 입력 이미지보다 실재 타겟 클래스 이미지에 더 가까워지도록 보장하기 위해 다수의 의미 인식 디스criminator를 활용한다.
• 전체 이미지의 현실성 검증을 위해 글로벌 디스criminator $D_I$ 를 도입하고 대비 손실과 보완한다.
• 대비 손실과 LSGAN, 사이클 일致성 손실을 결합하여 학습 안정성과 시각적 품질을 향상시킨다.
• 배경과 공간적 맥락을 유지하면서 특정 객체 인스턴스만 분리하여 조작할 수 있도록 마스크 조건부 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 객체 형태와 시점을 유지하면서 대규모 의미적 편집(예: 고양이 → 개)을 수행할 수 있는가?
• RQ2 특징 거리의 상대적 거리 비교를 기반으로 한 적대적 대비 목적함수는 표준 GAN 목적함수보다 의미적 편집 성능을 향상시키는가?
• RQ3 클래스 레이블과 객체 마스크에 조건부로 설정된 단일 공유 생성자로 개별 클래스별 별도 생성자보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 쌍방향 없는 이미지 간 번역 및 의미적 편집 작업에서 CycleGAN 및 기타 GAN들과 비교해 어떻게 성능을 내는가?
• RQ5 마스크 조건부 조건부 설정을 통해 배경과 객체 수준의 의미적 변화를 얼마나 효과적으로 분리할 수 있는가?

주요 결과

• 대비 GAN 모델은 MSCOCO에서 고양이 ↔ 개 및 자전거 ↔ 오토바이 등의 의미적 편집 작업에서 기준 GAN, CycleGAN 및 기타 조건부 GAN보다 뚜렷이 뛰어난 성능을 보였다.
• AMT 시각적 현실감 평가 벤치마크에서, 특히 대규모 의미적 변화가 필요한 작업에서 기준 모델보다 상당히 높은 점수를 기록했다.
• 제거 실험 결과, 대비 손실, LSGAN 손실, 사이클 일치성 손실의 세 가지 구성 요소가 최적 성능을 내기 위해 필수적임을 확인했다.
• 마스크 조건부 공유 생성자는 개별 클래스별 생성자보다 유사하거나 더 우수한 성능을 내며, 모델 크기를 줄이고 강건성을 향상시켰다.
• 보조 글로벌 디스criminator $D_I$ 를 갖춘 모델은 시각적 정확도가 더욱 향상되어, 이 디스criminator가 현실성 평가에서 보완적인 역할을 함을 입증했다.
• 정성적 결과는 모델이 객체 구조와 질감에 대해 최소한이지만 효과적인 변화를 가하며, 원래의 시점과 배경 상호작용을 유지하면서도 의미적 정체성을 성공적으로 전환함을 보여주었다.