[논문 리뷰] Learning to Maintain Natural Image Statistics

Roey Mechrez, Itamar Talmi외 2명|arXiv (Cornell University)|2018. 03. 13.

Advanced Image Processing Techniques참고 문헌 38인용 수 24

한 줄 요약

이 논문은 특징 분포를 명시적으로 모델링하여 자연 이미지 통계를 유지하는 새로운 피드포워드 CNN 접근법을 제안한다. 이로 인해 훈련 데이터 요구량이 수개월 단위로 감소하고, 단일 이미지 초해상도 복원 및 고해상도 표면 법선 추정에서 최신 기술 수준의 성능을 달성하며, 적대적 훈련과의 보완적 대안을 제공한다.

ABSTRACT

Maintaining natural image statistics is a crucial factor in restoration and generation of realistic looking images. When training CNNs, photorealism is usually attempted by adversarial training (GAN), that pushes the output images to lie on the manifold of natural images. GANs are very powerful, but not perfect. They are hard to train and the results still often suffer from artifacts. In this paper we propose a complementary approach, whose goal is to train a feed-forward CNN to maintain natural internal statistics. We look explicitly at the distribution of features in an image and train the network to generate images with natural feature distributions. Our approach reduces by orders of magnitude the number of images required for training and achieves state-of-the-art results on both single-image super-resolution, and high-resolution surface normal estimation.

연구 동기 및 목표

• GAN이 이미지 복원 및 생성에서 겪는 훈련 불안정성과 잡음 등의 한계를 해결하기 위해.
• 사진 수준의 현실감 있는 이미지 모델을 훈련시키는 데 일반적으로 요구되는 막대한 데이터 요구량을 줄이기 위해.
• 적대적 손실에 의존하지 않고도 자연 내부 이미지 통계를 유지하는 피드포워드 CNN을 개발하기 위해.
• 단일 이미지 초해상도 복원 및 고해상도 표면 법선 추정에서 최신 기술 수준의 성능을 달성하기 위해.
• 내재된 특징 분포에 초점을 맞추어 GAN 기반 방법과의 보완적 대안을 제공하기 위해.

제안 방법

• 이 방법은 학습된 통계 사전을 사용해 이미지 내 특징의 분포를 명시적으로 모델링한다.
• 피드포워드 CNN은 자연 이미지의 내부 특징 분포와 일치하는 이미지를 생성하도록 훈련된다.
• 훈련 목표는 적대적 분류가 아니라 특징 표현의 통계적 일관성 최적화에 중점을 둔다.
• 이 방법은 내부 통계를 감독 신호로 활용하여 대규모 실사 이미지 데이터셋에 대한 의존도를 낮춘다.
• 특징 공간에서 자연스러움을 강제하는 미분 가능 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 공통된 아키텍처 및 훈련 원칙을 사용해 초해상도 복원 및 표면 법선 추정 작업에 모두 적용된다.

실험 결과

연구 질문

• RQ1 적대적 훈련 없이도 피드포워드 CNN이 자연 이미지 통계를 유지할 수 있는가?
• RQ2 내부 특징 분포를 모델링하는 것이 이미지 복원 작업에서 데이터 요구량을 얼마나 줄일 수 있는가?
• RQ3 적대적 기반 접근법과 비교해 명시적인 특징 분포 모델링이 잡음 감소 및 현실감 있는 출력에 얼마나 효과적인가?
• RQ4 이 방법은 초해상도 복원 및 표면 법선 추정과 같은 다양한 이미지 복원 작업에 일반화될 수 있는가?
• RQ5 비적대적, 통계 기반 접근법이 사진 수준의 현실감 있는 이미지 생성에서 성능의 한계는 어디까지인가?

주요 결과

• 제안된 방법은 기존의 GAN 기반 접근법과 비교해 훈련 이미지 수를 수개월 단위로 줄였다.
• 기준 평가 지표에서 기존 방법들을 능가하는 성능을 보이며 단일 이미지 초해상도 복원에서 최신 기술 수준의 결과를 달성했다.
• 고해상도 표면 법선 추정에서 최신 기술 수준의 성능을 보이며 강력한 일반화 능력을 입증했다.
• 적대적 훈련을 사용하지 않음에도 불구하고 GAN 기반 대안보다 잡음이 적고 더 자연스러운 출력을 생성했다.
• 최소한의 아키텍처 변경으로 다양한 이미지 복원 작업에서 우수한 성능를 유지했다.
• 내부 특징 분포를 모델링하는 것이 사진 수준의 현실감 있는 이미지 생성을 위한 적대적 훈련의 보완적이고 효과적인 대안임을 확인했다.