[논문 리뷰] GP-GAN: Towards Realistic High-Resolution Image Blending

Huikai Wu, Shuai Zheng외 2명|arXiv (Cornell University)|2017. 03. 21.

Advanced Image Processing Techniques참고 문헌 44인용 수 89

한 줄 요약

GP-GAN은 저해상도 색상 현실주의를 위한 Blending GAN과 Gaussian-Poisson 최적화를 결합하여 고해상도, 아티팩트 없는 이미지 블렌드를 생성한다. Transient Attributes 데이터셋에서 현존(realism) 최고를 달성했고 사용자 연구로 뒷받침된다.

ABSTRACT

It is common but challenging to address high-resolution image blending in the automatic photo editing application. In this paper, we would like to focus on solving the problem of high-resolution image blending, where the composite images are provided. We propose a framework called Gaussian-Poisson Generative Adversarial Network (GP-GAN) to leverage the strengths of the classical gradient-based approach and Generative Adversarial Networks. To the best of our knowledge, it's the first work that explores the capability of GANs in high-resolution image blending task. Concretely, we propose Gaussian-Poisson Equation to formulate the high-resolution image blending problem, which is a joint optimization constrained by the gradient and color information. Inspired by the prior works, we obtain gradient information via applying gradient filters. To generate the color information, we propose a Blending GAN to learn the mapping between the composite images and the well-blended ones. Compared to the alternative methods, our approach can deliver high-resolution, realistic images with fewer bleedings and unpleasant artifacts. Experiments confirm that our approach achieves the state-of-the-art performance on Transient Attributes dataset. A user study on Amazon Mechanical Turk finds that the majority of workers are in favor of the proposed method.

연구 동기 및 목표

• 현실적인 고해상도 합성 이미지 블렌딩의 동기를 제시한다.
• GAN을 활용해 저해상도 색상 현실성 제약을 학습한다.
• gradient 기반의 고주파 디테일과 색상 제약을 Gaussian-Poisson 프레임워크로 결합한다.
• 도전적인 데이터셋과 사용자 연구를 통해 최첨단 성능을 입증한다.

제안 방법

• Composite 입력에서 저해상도 현실적인 블렌드 이미지를 생성하기 위해 Blending GAN을 도입한다.
• L2 손실과 적대적 손실(adversarial loss)을 결합한 지도 학습 손실로 Blending GAN을 학습시킨다.
• 저해상도 제약에서의 색상 정보를 고해상도 합성의 그라데이션 정보와 융합하기 위해 Gaussian-Poisson 방정식을 형식화하고, 라플라시안 피라미드에서 해를 닫힘 형태로 구한다.
• 다중 스케일(Laplacian 피라미드) 절차를 적용하여 각 스케일에서 반복적으로 해를 구함으로써 고해상도 블렌드를 생성한다.
• Gaussion-Poisson 최적화와 피라미드 업샘플링을 통합하여 최종 고해상도 블렌드를 생성하는 실제 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 GAN이 그라데이션 기반 신호와 결합될 때 현실적인 고해상도 블렌드를 제공하는 그럴듯한 저해상도 색상 블렌딩을 학습할 수 있는가?
• RQ2 Gaussian-Poisson 형식이 학습된 저해상도 제약과의 색상 일관성을 유지하면서 고주파 디테일을 고품질로 제공하는가?
• RQ3 GP-GAN은 현실성과 인공물 측면에서 Poisson 기반 블렌딩 및 다른 이미지 스티칭 방법과 비교하여 어떻게 수행되는가?
• RQ4 학습 분포를 넘어 실제 고해상도 이미지에 대해서도 접근 방식이 강인한가?
• RQ5 마스크와 실제 고해상도 이미지에 대해 접근 방식이 다양한 상황에서도 잘 작동하는가?

주요 결과

• GP-GAN은 Transient Attributes 데이터셋의 500개 이미지에서 현실성 점수 면에서 Poisson 기반 및 다중 스플라인 기반 기준보다 우수하다.
• Amazon Mechanical Turk의 사용자 연구에서 GP-GAN이 현실성 면에서 대다수의 피실험자로부터 선호되었다.
• Blending GAN의 색상 제약을 간단한 다운샘플 합성으로 대체하면 품질이 감소하여, 학습된 저해상도 현실성 제약의 중요성을 강조한다.
• Qualitative 결과는 GP-GAN이 MPB 및 MSB에 비해 번짐 현상 및 조명 불일치가 적은 고해상도 블렌드를 생성한다는 것을 보여준다.
• 이 방법은 실제 고해상도 이미지에 일반화되며 양자 객체 마스크의 정밀성에 의존하지 않는다.