[논문 리뷰] COCO-GAN: Generation by Parts via Conditional Coordinating

Chieh Hubert Lin, Chia-Che Chang외 4명|arXiv (Cornell University)|2019. 03. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 11

한 줄 요약

COCO-GAN은 공간 좌표를 기반으로 작은 이미지 패치를 생성하고 조립하여 고해상도 이미지를 합성하는 조건부 생성 모델을 소개한다. 이는 훈련 중에 전체 이미지를 생성하지 않더라도 최신 기술 수준의 이미지 품질을 달성할 수 있도록 한다. 이 모델은 좌표 인식형 분할 및 통합 훈련 철학을 통해 경계를 초월한 생성, 사이클릭 위상 구조를 가진 파ano라믹 이미지 합성, 그리고 수요에 따라 패치를 생성하는 새로운 기능을 가능하게 한다.

ABSTRACT

Humans can only interact with part of the surrounding environment due to biological restrictions. Therefore, we learn to reason the spatial relationships across a series of observations to piece together the surrounding environment. Inspired by such behavior and the fact that machines also have computational constraints, we propose \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN) of which the generator generates images by parts based on their spatial coordinates as the condition. On the other hand, the discriminator learns to justify realism across multiple assembled patches by global coherence, local appearance, and edge-crossing continuity. Despite the full images are never generated during training, we show that COCO-GAN can produce extbf{state-of-the-art-quality} full images during inference. We further demonstrate a variety of novel applications enabled by teaching the network to be aware of coordinates. First, we perform extrapolation to the learned coordinate manifold and generate off-the-boundary patches. Combining with the originally generated full image, COCO-GAN can produce images that are larger than training samples, which we called "beyond-boundary generation". We then showcase panorama generation within a cylindrical coordinate system that inherently preserves horizontally cyclic topology. On the computation side, COCO-GAN has a built-in divide-and-conquer paradigm that reduces memory requisition during training and inference, provides high-parallelism, and can generate parts of images on-demand.

연구 동기 및 목표

• 공간 좌표에 조건부로 작은 이미지 패치를 생성하고 조립하여 일관된 전체 이미지를 생성하는 생성 모델을 개발하는 것.
• 대규모 시야 영역 이미지 생성에서 발생하는 계산적 병목 현상을 해결하기 위해 병렬적이고 메모리 효율적인 훈련 및 추론을 가능하게 하는 것.
• 학습 경계를 초월한 외삽 및 사이클릭 파노라믹 이미지 합성을 포함한 새로운 이미지 생성 기능을 가능하게 하는 것.
• 훈련 중 전체 이미지 감독 없이도 조립된 패치 간의 전역 일관성과 국소 일관성을 유지하는 것.
• 자원 제약이 있는 환경(예: 모바일 및 VR)에서 수요에 따라 패치 기반으로 이미지를 생성할 수 있도록 지원하는 것.

제안 방법

• 생성자는 각 패치의 공간 좌표와 잠재 벡터를 모두 고려하여, 좌표 조건부 GAN 프레임워크를 사용해 마이크로 패치를 생성한다.
• 판별자는 매크로 패치 내에서 전역 일관성, 국소 외관 일관성, 인접 패치 간의 경계 연속성을 평가한다.
• 분할 및 통합 훈련 전략은 이미지 생성을 독립적인 패치 생성 작업으로 나누어 메모리 사용량을 줄이고 고도로 병렬 처리를 가능하게 한다.
• 모델은 이중 목적을 사용해 훈련된다: 현실감 있는 이미지를 위한 적대적 손실과 공간 인식을 강제하기 위한 좌표 예측 헤드.
• 외부 좌표를 조건으로 하여 생성자에 조건을 주어 좌표 외삽을 가능하게 하여 훈련 데이터보다 큰 이미지 생성이 가능해진다.
• 훈련 중 실린더 좌표를 적용하여 파노라믹 이미지 생성을 달성하여 출력에서 수평 방향의 사이클릭 연속성을 유지한다.

실험 결과

연구 질문

• RQ1 GAN은 공간 좌표에 조건부로 국소 패치만 생성함으로써 전역적으로 일관된 전체 이미지를 생성할 수 있는가?
• RQ2 좌표 외삽을 통해 훈련 데이터 분포를 초월한 더 큰 이미지를 생성하는 데 모델이 일반화될 수 있는가?
• RQ3 모델은 파노라믹 이미지 생성 시 수평 방향 사이클릭 연속성과 같은 위상적 성질을 유지할 수 있는가?
• RQ4 좌표 조건부 처리가 엣지 디바이스에 적합한 효율적이고 수요에 맞으며 메모리 최적화된 이미지 생성을 가능하게 하는가?
• RQ5 모델은 부분적인 실제 매크로 패치에서 잠재 벡터를 재구성함으로써 패치 기반 이미지 생성을 수행할 수 있는가?

주요 결과

• COCO-GAN은 CelebA 128×128 및 LSUN 256×256를 포함한 여러 벤치마크에서 최신 기술 수준의 Fréchet Inception Distance (FID) 점수를 달성하여 고품질 이미지 합성 능력을 입증한다.
• 마이크로 패치가 4×4 픽셀로 매우 작음에도 불구하고, 모델은 1024개의 패치를 조립하여 완전하고 신뢰할 수 있는 인간 얼굴을 생성할 수 있어 강력한 공간 추론 능력을 보여준다.
• 경계를 초월한 생성이 성공적으로 수행되었으며, 훈련 샘플보다 큰 384×384 이미지를 생성했고, 모든 샘플이 새로운 것으로서 일관성 있는 결과를 보였다.
• 실린더 좌표를 사용해 생성한 파노라믹 이미지는 수평 방향 사이클릭 위상이 올바르게 유지되어 있으며, 시각적 검토와 보간 결과로 확인되었다.
• 훈련 과정이 안정적이며, 시간이 지남에 따라 워샤프스키 거리와 FID가 일관되게 감소함으로써 안정적인 수렴을 보였다.
• 패치 기반 생성은 단일 실제 매크로 패치에서부터 전체 이미지를 재구성할 수 있게 하였으며, 모델은 공간 좌표를 예측하고 전역적으로 일관된 완성된 이미지를 생성하였다.