[논문 리뷰] Semi-parametric Image Synthesis

Xiaojuan Qi, Qifeng Chen외 2명|arXiv (Cornell University)|2018. 04. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 11

한 줄 요약

이 논문은 의미적 레이아웃에서 더 현실적인 사진 이미지를 생성하기 위해 딥 파라메트릭 네트워크와 비파라메트릭 이미지 세그먼트 메모리 백을 결합하는 세미-파라메트릭 이미지 합성(SIMS)을 제안한다. 레이아웃 호환성에 기반해 실제 세계의 이미지 세그먼트를 검색하고 조합하며, 딥 네트워크를 사용해 정렬 및 보정함으로써, 순수하게 파라메트릭 접근 방식에 비해 상당히 향상된 현실감과 지각적 품질을 갖춘 이미지를 생성한다.

ABSTRACT

We present a semi-parametric approach to photographic image synthesis from semantic layouts. The approach combines the complementary strengths of parametric and nonparametric techniques. The nonparametric component is a memory bank of image segments constructed from a training set of images. Given a novel semantic layout at test time, the memory bank is used to retrieve photographic references that are provided as source material to a deep network. The synthesis is performed by a deep network that draws on the provided photographic material. Experiments on multiple semantic segmentation datasets show that the presented approach yields considerably more realistic images than recent purely parametric techniques. The results are shown in the supplementary video at https://youtu.be/U4Q98lenGLQ

연구 동기 및 목표

• 시험 시점에 실제 사진 데이터에 접근할 수 없는 순수 파라메트릭 이미지 합성 모델의 한계를 해결하기 위해.
• 현대 딥 러닝 파ip라인에 실사 이미지 참조를 재통합함으로써 비파라메트릭 방법의 강점을 되살리기 위해.
• 외부 이미지 세그먼트 메모리의 이점을 활용하면서도 딥 네트워크의 유연성과 표현력을 유지하는 세미-파라메트릭 프레임워크를 개발하기 위해.
• 실제 세계 이미지 통계와의 정렬을 통해 합성 이미지의 지각적 현실감과 통계적 일관성을 향상시키기 위해.

제안 방법

• 실사 사진 훈련 데이터셋에서 의미적 레이아웃과 연관된 이미지 세그먼트 메모리 백을 구성한다.
• 시험 시점에 새로운 의미적 레이아웃이 주어지면, 학습된 유사도 측도를 사용해 메모리 백에서 호환성 있는 세그먼트를 검색한다.
• 변환 네트워크가 검색된 세그먼트를 공간 레이아웃에 정렬하여 가림을 해결하고 스케일 및 방향을 조정한다.
• 정렬 네트워크가 세그먼트의 적절한 층위를 결정하여 공간 일관성과 자연스러운 시나리오 구성이 보장되도록 한다.
• 딥 생성 네트워크가 조합된 캔버스를 처리하여 최종 사진적 현실감 있는 이미지를 생성하고, 질감을 보완하며 경계를 융합한다.
• 전체 파이프라인은 엔드 투 엔드 방식으로 훈련되며, 추론 과정에서는 메모리 백이 고정된다.

실험 결과

연구 질문

• RQ1 비파라메트릭 실사 이미지 세그먼트 검색과 파라메트릭 딥 네트워크를 조합함으로써 의미적 레이아웃에서의 이미지 합성의 현실감을 향상시킬 수 있는가?
• RQ2 시험 시점에 실사 사진 예시를 사용할 경우 순수 파라메트릭 모델에 비해 지각적 품질에 어떤 영향을 미치는가?
• RQ3 합성 이미지의 통계적 특성, 예를 들어 파wer 스펙트럼이 실제 이미지와 얼마나 유사한가?
• RQ4 동일한 입력 레이아웃에 대해 다른 상위-k 검색 세그먼트를 사용함으로써 다양한 고품질 출력을 생성할 수 있는가?

주요 결과

• 사람 선호도 연구를 통해 SIMS가 Pix2pix와 CRN 등의 최신 파라메트릭 방법보다 상당히 높은 지각적 현실감을 갖춘 이미지를 생성함을 확인했다.
• ADE20K 데이터셋에서 SIMS가 생성한 이미지의 평균 파워 스펙트럼은 실제 이미지와 거의 구분되지 않으며, 반면 Pix2pix와 CRN는 부적절한 스펙트럼 피크를 보였다.
• 시간 제한이 있는 이원 비교에서 SIMS는 Cityscapes-coarse(50.2%)와 Cityscapes-fine(50.5%)에서 실제 이미지보다 선호도 비율이 높아 인간 수준의 현실감을 구현했다.
• 프리트레인된 PSPNet으로 평가했을 때, 메트릭스는 실제 이미지 수준에 가까운 높은 의미적 일관성을 유지했다.
• 도메인 전이에 대해 강건하며, Cityscapes에서 GTA5로의 전이 시에도 고품질 이미지를 생성했다.
• 동일한 레이아웃에서 다른 상위-k 검색 세그먼트를 샘플링함으로써 다양한 출력을 생성할 수 있어, 하나의 레이아웃으로부터 다수의 현실적인 변형을 생성할 수 있었다.