[논문 리뷰] MOGAN: Morphologic-structure-aware Generative Learning from a Single Image

Jinshu Chen, Qihui Xu외 2명|arXiv (Cornell University)|2021. 03. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 60인용 수 4

한 줄 요약

MOGAN은 단일 입력에서 다양하고 고품질의 이미지를 생성하기 위해 보강된 데이터와 경량 스타일 인젝터를 활용하여 형태적 구조를 고려한 GAN을 도입한다. 이는 객체의 구조를 유지하면서 외관의 다양성을 가능하게 하며, ROI 기반 이미지 생성에서 다양성과 현실성 면에서 기존 모델을 능가한다. SIFID 및 GQI와 같은 정량적 지표를 통해 검증된 초우수한 성능을 기록한다.

ABSTRACT

In most interactive image generation tasks, given regions of interest (ROI) by users, the generated results are expected to have adequate diversities in appearance while maintaining correct and reasonable structures in original images. Such tasks become more challenging if only limited data is available. Recently proposed generative models complete training based on only one image. They pay much attention to the monolithic feature of the sample while ignoring the actual semantic information of different objects inside the sample. As a result, for ROI-based generation tasks, they may produce inappropriate samples with excessive randomicity and without maintaining the related objects' correct structures. To address this issue, this work introduces a MOrphologic-structure-aware Generative Adversarial Network named MOGAN that produces random samples with diverse appearances and reliable structures based on only one image. For training for ROI, we propose to utilize the data coming from the original image being augmented and bring in a novel module to transform such augmented data into knowledge containing both structures and appearances, thus enhancing the model's comprehension of the sample. To learn the rest areas other than ROI, we employ binary masks to ensure the generation isolated from ROI. Finally, we set parallel and hierarchical branches of the mentioned learning process. Compared with other single image GAN schemes, our approach focuses on internal features including the maintenance of rational structures and variation on appearance. Experiments confirm a better capacity of our model on ROI-based image generation tasks than its competitive peers.

연구 동기 및 목표

• 단일 학습 샘플에서 다양하고 구조적으로 정확한 이미지를 생성하는 데 도전하는 것, 특히 ROI 기반 작업에서의 과제를 해결하는 것.
• 기존 GAN이 이미지 패치를 동일하게 처리하여 생성 샘플에서 구조적 왜곡을 유발하는 한계를 극복하는 것.
• 단일 입력 이미지의 보강된 버전으로부터 형태적 및 구조적 지식을 통합하여 샘플 품질을 향상시키는 것.
• 이진 마스크와 특화된 네트워크 브랜치를 사용하여 ROI 및 배경 영역을 별도로, 병렬로 생성하는 것.
• 특히 인터랙티브 이미지 생성 작업에서, 외관의 다양성과 구조적 정확성 간의 균형을 기존 단일 이미지 GAN보다 더 잘 달성하는 것.

제안 방법

• ROI 및 배경 생성을 위한 별도의 브랜치를 갖춘 병렬적이고 계층적인 GAN 아키텍처를 제안하여 고립되고 타겟된 학습을 가능하게 한다.
• 원본 이미지를 다양한 형태(예: 회전, 자르기, 색상 왜곡)로 보강하여 구조적 및 형태 패턴을 유지하는 다각도의 훈련 데이터를 합성한다.
• 경량 스타일 인젝터 모듈을 도입하여 보강된 데이터로부터 애핀 변환을 학습하고, 이 지식을 생성자에 주입함으로써 구조 유지와 함께 외관의 다양성을 이끌어내는 것.
• 이진 마스크를 사용하여 ROI 영역을 분리하고, 배경 브랜치가 오직 비-ROI 영역만 생성하도록 유도함으로써 생성 복잡도를 감소시키고 정확도를 향상시킨다.
• ROI 브랜치에 변형 가능 컨벌루션과 채널 주의 레이어를 통합하여 특징 표현을 향상시키고 노이즈 및 아티팩트를 감소시킨다.
• 배경 브랜치에 게이트 컨벌루션을 적용하여 모델이 마스크를 의미적 객체로 간주하지 않도록 하여 적절한 배경 생성을 보장한다.

실험 결과

연구 질문

• RQ1 단일 이미지에서 훈련된 GAN이 입력 이미지의 객체 구조를 유지하면서도 다양한 고품질 샘플을 생성할 수 있는가?
• RQ2 형태 인지 데이터 보강과 스타일 인젝터의 통합이 단일 이미지 생성에서 구조 일관성과 외관 다양성에 어떻게 기여하는가?
• RQ3 병렬 브랜치를 통한 ROI 및 배경 생성의 분리가 생성된 이미지의 품질과 현실성에 어느 정도 기여하는가?
• RQ4 스타일 인젝터, 변형 가능 컨벌루션, 게이트 컨벌루션과 같은 개별 구성 요소들이 다양성과 정확성 측면에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 특히 ROI 기반 생성 작업에서 기존 단일 이미지 GAN보다 정량적 및 정성적 지표에서 모두 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 전체 이미지에서 훈련된 경우, MOGAN은 비교 모델들 중에서 가장 낮은 Single Image Frechet Inception Distance (SIFID)를 기록하여 더 높은 현실성과 과적합 감소를 나타낸다.
• ROI 전용으로 훈련된 경우, MOGAN은 높은 다양성과 낮은 SIFID를 유지하며, 과적합이나 혼란스러운 생성을 겪는 SinGAN, ConSinGAN, HP-VAE-GAN을 능가한다.
• 다양성/분산의 비율을 SIFID로 나눈 Generation Quality Index (GQI)는 MOGAN에서 가장 높아, 다양성과 품질 간 최적의 균형을 확보한 것을 입증한다.
• 제거 실험 결과, 스타일 인젝터가 필수적임을 확인 — 제거 시 과적합과 다양성 감소가 발생하며, 변형 가능 컨벌루션과 채널 주의 레이어가 구조적 안정성을 향상시킨다.
• 배경 브랜치에 게이트 컨벌루션을 적용하는 것이 필수적이며, 마스크를 의미적 객체로 간주하지 않도록 하여 정확한 배경 생성을 보장한다.
• 정성적 결과에서 MOGAN은 다른 모델 대비 더 선명한 윤곽선과 더 세밀한 질감을 생성함을 확인할 수 있었으며, 특히 편집된 영역이나 ROI 영역에서 두드러진 성능을 보였다.