[논문 리뷰] High-Resolution Network for Photorealistic Style Transfer

Ming Li, Chunyang Ye외 1명|arXiv (Cornell University)|2019. 04. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 복잡한 신경망에서 특징 맵을 다운샘플링하는 문제를 해결하기 위해, 전체 네트워크에서 고해상도를 유지함으로써 세밀한 구조적 세부 정보를 보존하고 왜곡을 최소화하는 고해상도 생성 네트워크를 제안한다. 다중 척도 특징 융합을 통해 병렬로 고해상도 및 저해상도 하위네트워크를 활용하며, 기존 방법보다 뛰어난 시각적 품질과 더 빠른 추론 속도를 달성한다. 이는 시각적 품질과 효율성 측면에서 최신 기술을 초월한다.

ABSTRACT

Photorealistic style transfer aims to transfer the style of one image to another, but preserves the original structure and detail outline of the content image, which makes the content image still look like a real shot after the style transfer. Although some realistic image styling methods have been proposed, these methods are vulnerable to lose the details of the content image and produce some irregular distortion structures. In this paper, we use a high-resolution network as the image generation network. Compared to other methods, which reduce the resolution and then restore the high resolution, our generation network maintains high resolution throughout the process. By connecting high-resolution subnets to low-resolution subnets in parallel and repeatedly multi-scale fusion, high-resolution subnets can continuously receive information from low-resolution subnets. This allows our network to discard less information contained in the image, so the generated images may have a more elaborate structure and less distortion, which is crucial to the visual quality. We conducted extensive experiments and compared the results with existing methods. The experimental results show that our model is effective and produces better results than existing methods for photorealistic image stylization. Our source code with PyTorch framework will be publicly available at https://github.com/limingcv/Photorealistic-Style-Transfer

연구 동기 및 목표

• 사진처럼 생생한 스타일 전이에서의 구조적 왜곡과 세부 정보 손실 문제를 해결하기 위해, 특히 특징 맵을 다운샘플링하는 깊은 신경망에서의 문제를 다루는 것.
• 생성 과정 全 과정에서 고해상도 표현을 유지하여 시각적 정밀도를 향상시키고, 해상도 감소 및 이후 업스케일링을 방지하는 것.
• 스타일 전이 정확도와 의미론적, 구조적 보존을 균형 잡는 더 효과적이고 효율적인 스타일 전이 프레임워크를 개발하는 것.
• 내용의 구조 보존과 아티팩트 최소화 측면에서, 정량적 및 정성적 지표 모두에서 기존 방법을 뛰어넘는 것.

제안 방법

• 제안된 방법은 전방 전파 동안 전체적으로 고해상도를 유지하는 고해상도 생성자 네트워크를 사용하여, 다운샘플링 및 이후 업스케일링을 방지한다.
• 병렬로 고해상도 및 저해상도 하위네트워크를 사용하며, 다중 척도 연결을 통해 융합하여 고해상도 특징이 저해상도 특징으로부터 맥락 정보를 수신할 수 있도록 한다.
• 다양한 척도의 특징 맵을 직접 연결함으로써, 인셉션 모듈을 영감으로 삼아 다수준 특징 통합을 향상시킨다.
• 학습 안정화와 수렴 속도 향상을 위해 봉쇄형 잔여 블록을 사용하며, 이는 시각적 품질 유지를 유지한다.
• 콘텐츠 손실 및 스타일 손실 계산을 위해 사전 훈련된 손실 네트워크로 VGG19를 사용하며, 이는 이 작업에서 VGG16보다 우수한 성능을 보였다는 점에서 확인되었다.
• 생성된 이미지의 저수준 세부 정보 보존과 왜곡 감소를 위해 픽셀 공간에 라플라시안 손실을 적용한다.

실험 결과

연구 질문

• RQ1 네트워크 전반에서 고해상도를 유지하는 것이 사진처럼 생생한 스타일 전이에서 구조적 세부 정보 보존에 기여하는가?
• RQ2 고해상도 및 저해상도 하위네트워크 간의 다중 척도 특징 융합이 스타일 전이된 이미지의 품질과 정밀도에 어떤 영향을 미치는가?
• RQ3 손실 네트워크로 VGG19를 사용하는 것이 VGG16 대비 사진처럼 생생한 스타일 전이에서 더 나은 성능을 내는가?
• RQ4 기존의 신경망 기반 스타일 전이 방법과 비교해 제안된 방법이 왜곡과 아티팩트를 어느 정도 줄이는가?
• RQ5 제안된 아키텍처는 시각적 품질을 유지하거나 향상시키면서도 더 빠른 추론 속도를 달성할 수 있는가?

주요 결과

• Re인하르트 등(2001)과 피티에 등(2005)과 비교할 때, 사용자 선호도 평가에서 더 많은 의미 정보 보존 비율이 53.27%이며, 더 나은 시각적 효과 비율이 62.81%로, 감지적 품질 측면에서 뚜렷하게 뛰어나다.
• 뉴럴 스타일, CNNMRF, 루안 등(2017)과 비교해, 더 많은 의미 정보 보존 비율이 53.76%, 더 나은 시각적 효과 비율이 50.54%로 나타나, 정성적 품질 측면에서 열등한 성능을 보이는 것으로 확인되었다.
• 512×512 해상도에서 126.84ms의 속도로 이미지를 생성하며, 존슨 등(2016)과 루안 등(2017)보다 뚜렷하게 빠른 추론 효율성을 보여주고 있다.
• 질적 비교를 통해 아티팩트 수가 줄고 내용의 구조 보존이 더 정확하게 이루어지는 것으로 나타나, 구조적 왜곡 감소와 세밀한 세부 정보 보존이 이루어졌음을 입증한다.
• 논문의 분석 연구를 통해 VGG19를 손실 네트워크로 사용할 경우 VGG16 대비 더 나은 성능을 내는 것으로 확인되었다.
• 512×512 해상도에서 PSNR는 19.82, SSIM는 0.873를 기록하여 강력한 감지적 및 구조적 정밀도를 보여준다.