[논문 리뷰] Perceptual Losses for Real-Time Style Transfer and Super-Resolution

Justin Johnson, Alexandre Alahi외 1명|arXiv (Cornell University)|2016. 03. 27.

Advanced Image Processing Techniques참고 문헌 52인용 수 1,031

한 줄 요약

논문은 프리트레이닝된 손실 네트워크(VGG-16)로부터의 지각 손실을 사용하여 피드포워드 변환 네트워크를 학습시켜 실시간 스타일 전송과 단일 이미지 초해상도를 달성하고, Gatys 등과 비교할 만한 스타일 전송 품질에 대해 1000x 속도향상을 제공하며, 초해상도에서 퍼-픽셀 손실보다 세부 재현을 개선한다.

ABSTRACT

We consider image transformation problems, where an input image is transformed into an output image. Recent methods for such problems typically train feed-forward convolutional neural networks using a \emph{per-pixel} loss between the output and ground-truth images. Parallel work has shown that high-quality images can be generated by defining and optimizing \emph{perceptual} loss functions based on high-level features extracted from pretrained networks. We combine the benefits of both approaches, and propose the use of perceptual loss functions for training feed-forward networks for image transformation tasks. We show results on image style transfer, where a feed-forward network is trained to solve the optimization problem proposed by Gatys et al in real-time. Compared to the optimization-based method, our network gives similar qualitative results but is three orders of magnitude faster. We also experiment with single-image super-resolution, where replacing a per-pixel loss with a perceptual loss gives visually pleasing results.

연구 동기 및 목표

• 이미지-대-이미지 변환 작업이 오직 퍼-픽셀 손실만이 아니라 지각적이고 고수준의 특징 손실로부터 이익을 얻도록 동기를 부여한다.
• 최적화 기반 스타일 전송을 근접적으로 수행하고 초해상도 미학을 향상시킬 수 있는 빠른 피드포워드 변환 네트워크를 개발한다.
• 지각 손실이 사전에 학습된 손실 네트워크로부터 변환 네트워크로 의미론적 이해를 전달하는 것을 가능하게 함을 입증한다.
• 퍼-픽셀 손실과 비교하여 스타일 전송에서 실시간 성능을 보여주고 초해상도에서 질적 향상을 나타낸다.

제안 방법

• 지각 손실을 정의하기 위해 고정된 손실 네트워크 phi(예: VGG-16처럼 이미지 분류에 사전 학습된 것)를 사용한다.
• 변환된 출력과 타깃 간의 특징 재구성 손실(콘텐츠)과 스타일 재구성 손실(질감)을 정의하고 최적화한다.
• 잔여 블록, 다운샘플링/업샘플링 및 tanh 출력을 갖는 피드포워드 이미지 변환 네트워크 f_W를 학습시켜 [0,255] 범위의 이미지를 생성한다.
• 스타일 전송용으로 스타일 대상당 별도의 네트워크를, 초해상도용으로 업샘플링 인자당 별도의 네트워크를 학습한다.
• 필요에 따라 픽셀 손실 또는 총변동 손실을 포함시키되, 주된 학습은 지각 손실에 의존한다.
• 두 가지 작업으로 평가한다: 스타일 전송(Gatys 등과의 비교) 및 단일 이미지 초해상도(×4 및 ×8).

실험 결과

연구 질문

• RQ1 사전 학습된 분류기에서 얻은 지각 손실이 빠른 피드포워드 네트워크로 최적화 기반 스타일 전송 결과를 근사하도록 할 수 있는가?
• RQ2 지각 손실로 학습하는 것이 퍼-픽셀 손실과 비교할 때 단일 이미지 초해상도에서 시각적 품질과 지각적 리얼리티를 향상시키는가?
• RQ3 스타일 전송을 위해 더 높은 계층의 지각 특징이 콘텐츠를 보존하는 정도와 질감을 보존하는 정도는 어느 정도인가?
• RQ4 제안된 접근 방식이 학습 크기 이상으로 더 큰 이미지 해상도에 얼마나 일반화되는가?

주요 결과

• 스타일 전송 네트워크는 Gatys 등과 질적으로 유사한 결과를 달성하지만 속도는 세 자릿수 더 빠르며 실시간 또는 영상 속도 처리를 가능하게 한다(512×512 이미지에서 약 20FPS).
• 지각 손실로 학습된 초해상도 네트워크는 눈에 보기 좋은 미세한 디테일과 경계를 생성하여 구조를 더 잘 포착하지만, 텍스처와 고주파 아티팩트로 인해 PSNR/SSIM은 다소 감소할 수 있다.
• 전적으로 컨볼루션 방식으로 더 큰 이미지에도 일반화되어 학습 크기보다 큰 입력에 적용할 수 있다.
• 지각 손실은 손실 네트워크에서 변환 네트워크로 의미론적 지식을 효과적으로 전달하여 의미론적으로 의식적인 이미지 변환을 가능하게 한다.
• 이 방법은 기존 스타일 전송 목표(Gatys 등)와 통합되면서 최적화 기반 생성에 비해 속도 면에서 획기적으로 개선을 제공한다.