[논문 리뷰] ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

Chen-Hsuan Lin, Ersin Yumer외 3명|arXiv (Cornell University)|2018. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 39

한 줄 요약

ST-GAN은 이미지 컴positing을 위한 현실적인 기하학적 왜곡을 학습하기 위해 공간 변형 네트워크(STN)를 활용하는 새로운 생성적 적대적 네트워크 아키텍처를 제안한다. GAN 프레임워크 내에서 순차적이고 반복적인 STN 생성자로 훈련을 수행함으로써, 적대적 최적화를 통해 전경 객체를 배경 환경에 정렬함으로써 컴posit된 이미지의 현실감을 향상시킨다. 이는 쌍체 설정 및 비쌍체 설정 모두에서 최신 기술 수준의 성능을 달성하며, 이는 이동 가능한 왜곡 매개변수를 통한 고해상도 이미지 편집을 포함한다.

ABSTRACT

We address the problem of finding realistic geometric corrections to a foreground object such that it appears natural when composited into a background image. To achieve this, we propose a novel Generative Adversarial Network (GAN) architecture that utilizes Spatial Transformer Networks (STNs) as the generator, which we call Spatial Transformer GANs (ST-GANs). ST-GANs seek image realism by operating in the geometric warp parameter space. In particular, we exploit an iterative STN warping scheme and propose a sequential training strategy that achieves better results compared to naive training of a single generator. One of the key advantages of ST-GAN is its applicability to high-resolution images indirectly since the predicted warp parameters are transferable between reference frames. We demonstrate our approach in two applications: (1) visualizing how indoor furniture (e.g. from product images) might be perceived in a room, (2) hallucinating how accessories like glasses would look when matched with real portraits.

연구 동기 및 목표

• 시점 및 위치 차이로 인해 전경 객체가 배경 환경과 자연스럽게 일치하지 않는 이미지 컴positing에서 기하학적 불일치를 해결하기 위해.
• 왜곡된 이미지를 자연 이미지 다양체와 일치시키기 위해 기하학적 보정을 학습함으로써 이미지 컴posit의 현실감을 향상시키기 위해.
• 저해상도 입력에서 학습한 왜곡 매개변수를 고해상도 출력으로 이식함으로써 고해상도 이미지 편집을 가능하게 하기 위해.
• 쌍체 훈련 데이터가 없는 경우에도 효과적으로 작동함을 입증하기 위해, 예를 들어 같은 사람의 안경 착용 여부가 쌍체로 제공되지 않는 안경을 초상화에 합성하는 경우에 대해.
• 단일 단계 왜곡보다 더 나은 수렴성과 현실감을 달성하기 위해 순차적 훈련 전략을 개발하기 위해.

제안 방법

• 생성자로 공간 변형 네트워크(STN)를 통합하여 전경 객체의 미분 가능한 기하학적 왜곡을 가능하게 한다.
• 다단계이자 순차적인 훈련 전략을 적용하여, 여러 개의 STN 모듈이 반복적으로 작은 기하학적 변환을 적용함으로써 점진적으로 복합 이미지를 정밀하게 보정한다.
• 실제 이미지와 STN로 생성된 복합 이미지를 구분하는 판별자(discriminator)를 사용하며, 생성자가 점점 더 현실적인 결과를 생성하도록 훈련한다.
• 훈련 중 기하학적 데이터 증강을 적용하여 랜덤 유사성 변환과 호모그래피를 포함함으로써 강건성을 향상시킨다.
• 예측된 왜곡 매개변수의 이식 가능성 활용: 저해상도 입력에서의 추론 결과를 고해상도 출력에 그대로 적용함으로써 재학습 없이도 고해상도 컴positing을 가능하게 한다.
• 생성자를 적대적 손실을 최적화하여, 왜곡된 복합 이미지가 자연 이미지 다양체와 기하학적 변환 다양체의 교차 영역에 가까워지도록 유도한다.

실험 결과

연구 질문

• RQ1 왜곡 매개변수 공간에서 작동하는 GAN 기반 프레임워크가 이미지 컴posit를 위한 현실적인 기하학적 보정을 효과적으로 학습할 수 있는가?
• RQ2 단일 단계 생성자보다 순차적이고 반복적인 STN 훈련 전략이 수렴성과 현실감 향상에 기여하는가?
• RQ3 저해상도 입력에서 학습한 왜곡 매개변수를 고해상도 이미지에 이식함으로써 ST-GAN이 고해상도 이미지로 일반화할 수 있는가?
• RQ4 쌍체 데이터가 없는 비쌍체 설정에서, 예를 들어 같은 사람의 안경 착용 여부가 쌍체로 제공되지 않는 경우에도 ST-GAN이 얼굴에 안경을 합성하는 데 효과적인가?
• RQ5 극단적인 기하학적 변형이나 드문 객체 카테고리(예: 두꺼운 프레임 안경 또는 흰색 안경)를 처리할 때 ST-GAN의 한계는 무엇인가?

주요 결과

• 대규모 사용자 연구를 통해, ST-GAN은 합성 및 실제 세계 데이터셋 모두에서 이미지 컴posit의 현실감을 크게 향상시켰다.
• 순차적 훈련 전략은 단순한 단일 생성자 훈련보다 더 나은 수렴성과 더 현실적인 왜곡을 가능하게 했다.
• ST-GAN은 전경 객체가 다른 환경에서 온 경우에도 실내 환경에 가구를 자연스럽게 위치시키고 시각적 일치를 유지하는 데 성공했다.
• 쌍체 데이터 없이도 안경 착용 여부가 다른 동일한 사람의 이미지가 없는 비쌍체 안경 합성 작업에서, ST-GAN은 다양한 종류의 안경을 얼굴에 정확하게 정렬하는 데 성공했다.
• 저해상도에서 예측된 왜곡 매개변수를 고해상도에서 그대로 적용함으로써, ST-GAN은 고해상도 이미지로의 일반화를 달성했으며, 이는 실제 편집 응용 분야에서 실용적인 활용 가능성을 보였다.
• 극단적인 이동이나 평면 내에서의 회전에는 어려움을 겪고 있으며, 두꺼운 프레임이나 흰색 안경과 같은 드문 객체 카테고리에서는 성능이 저하되는 경향을 보였다.