[논문 리뷰] PixelNN: Example-based Image Synthesis

Aayush Bansal, Yaser Sheikh외 1명|arXiv (Cornell University)|2017. 08. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 6

한 줄 요약

PixelNN는 CNN 기반 회귀기와 픽셀 단위의 최근접 이웃 매칭을 조합하여, 저해상도 이미지, 윤곽선, 노말 맵과 같은 불완전한 입력으로부터 다양하고 고주파, 사진처럼 사실적인 이미지를 생성하는 이단계적 이미지 합성 방법을 제안한다. 깊이 있는 특징 기술자를 활용한 국소 픽셀 매칭을 통해 GAN의 모드 붕괴 문제를 해결하고, 여러 가지 가능한 출력 결과를 제공하는 제어 가능하고 해석 가능한 합성 방식을 실현한다.

ABSTRACT

We present a simple nearest-neighbor (NN) approach that synthesizes high-frequency photorealistic images from an "incomplete" signal such as a low-resolution image, a surface normal map, or edges. Current state-of-the-art deep generative models designed for such conditional image synthesis lack two important things: (1) they are unable to generate a large set of diverse outputs, due to the mode collapse problem. (2) they are not interpretable, making it difficult to control the synthesized output. We demonstrate that NN approaches potentially address such limitations, but suffer in accuracy on small datasets. We design a simple pipeline that combines the best of both worlds: the first stage uses a convolutional neural network (CNN) to maps the input to a (overly-smoothed) image, and the second stage uses a pixel-wise nearest neighbor method to map the smoothed output to multiple high-quality, high-frequency outputs in a controllable manner. We demonstrate our approach for various input modalities, and for various domains ranging from human faces to cats-and-dogs to shoes and handbags.

연구 동기 및 목표

• 생성 출력의 다양성을 제한하는 조건부 GAN의 모드 붕괴 문제를 해결한다.
• 실시간으로 트레이닝 세트를 필터링하는 방식을 통해 합성 과정의 해석 가능성을 높여 사용자 제어를 가능하게 한다.
• 비모수적 최근접 이웃 매칭을 통해 딥 생성 모델의 해석 가능성 부족 문제를 해결한다.
• 전체 이미지 매칭 대신 국소 픽셀 조합을 활용하여 소규모 데이터셋에서의 일반화 능력을 향상시킨다.
• 윤곽선, 저해상도 이미지, 노말 맵과 같은 불완전한 신호로부터 고주파, 사진처럼 사실적인 출력을 생성한다.

제안 방법

• 저해상도 이미지나 윤곽선 맵과 같은 불완전한 입력으로부터 단일이고 스무딩된 출력을 회귀하기 위해 CNN을 훈련한다.
• 다중 척도 기술자를 사용해 CNN 출력에서 깊이 있는 특징을 추출하여 국소적 맥락을 포착하고 픽셀 단위 매칭을 가능하게 한다.
• 깊이 있는 특징 기술자를 사용해 트레이닝 세트에서 픽셀 단위의 최근접 이웃 검색을 수행하여 가장 유사한 패치를 찾는다.
• 가장 유사한 트레이닝 예제의 해당 픽셀을 복사 및 붙여넣기하여 최종 고주파 출력을 구성한다.
• 사용자가 지정한 기준(예: 특정 고양이 품종)을 만족하는 예제만 포함하도록 트레이닝 세트를 필터링하여 제어 가능한 합성을 가능하게 한다.
• 트레이닝 이미지와 합성 출력 간에 조밀한 픽셀 수준의 대응 관계를 활용해 레이블 전이 또는 분석 등의 임상 응용을 고려한다.

실험 결과

연구 질문

• RQ1 비모수적 최근접 이웃 접근 방식은 모드 붕괴 없이 불완전한 입력으로부터 다양하고 고주파, 사진처럼 사실적인 이미지를 생성할 수 있는가?
• RQ2 깊이 있는 특징을 활용한 픽셀 단위의 조합은 전체 이미지 매칭 대비 일반화 능력과 표현력 향상에 기여하는가?
• RQ3 최근접 이웃 매칭은 종합적인 딥 생성 모델 대비 이미지 합성에서 얼마나 높은 수준의 해석 가능성과 사용자 제어를 제공하는가?
• RQ4 최근접 이웃 기반 합성의 성능은 엣지 및 노말 추정 정밀도 측면에서 최첨단 GAN 기반 방법과 비교해 어떻게 측정되는가?
• RQ5 이 방법이 생성하는 조밀한 픽셀 수준의 대응 관계는 의미적 레이블 전이와 같은 후행 작업을 지원할 수 있는가?

주요 결과

• PixelNN는 입력당 여러 개의 다양하고 고품질의 출력을 생성하며, 72회의 런에서 무작위 선택에서 오라클 선택으로의 성능 향상으로 인해 GAN 기반 베이스라인 대비 다양성 측면에서 뚜렷한 승리를 거두었다.
• 표면 노말 추정에 대한 정량적 평가에서 PixelNN는 평균 각도 오차 12.3°와 중앙값 9.1°를 기록했으며, 30° 이내 오차를 가진 픽셀 비율이 87.5%로, 베이스라인 Pix-to-Pix 모델을 능가했다.
• 엣지 검출에 있어서 PixelNN는 평균 정밀도(AP) 0.89를 기록했으며, 실제 이미지 성능과 유사하고 베이스라인 모델보다 뚜렷히 우수했다.
• 이 방법은 제어 가능한 합성을 가능하게 하며, 사용자가 트레이닝 세트를 필터링하여 특정 스타일(예: 특정 고양이 품종)로 출력을 유도할 수 있어 직관적인 사용자 제어를 보여주었다.
• 적합한 최근접 이웃이 존재하지 않을 경우 실패 케이스가 발생하며, 이는 효율적인 검색 최적화의 필요성을 시사한다. 이 문제는 Scanner와 같은 시스템으로 해결될 수 있다.
• 이 방법은 자연스럽게 트레이닝 이미지와 합성 출력 간에 조밀한 픽셀 수준의 대응 관계를 생성하며, 레이블 전이 및 영상 분석과 같은 임상 응용 가능성을 열어준다.