[논문 리뷰] Multi-style Generative Network for Real-time Transfer

Hang Zhang, Kristin Dana|arXiv (Cornell University)|2017. 03. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 113

한 줄 요약

MSG-Net은 2차 통계치를 매칭하여 2D 스타일 표현을 학습하는 CoMatch Layer를 도입함으로써 브러시 크기 제어와 함께 실시간 다중 스타일 전송을 가능하게 하고 높은 이미지 품질을 제공합니다.

ABSTRACT

Despite the rapid progress in style transfer, existing approaches using feed-forward generative network for multi-style or arbitrary-style transfer are usually compromised of image quality and model flexibility. We find it is fundamentally difficult to achieve comprehensive style modeling using 1-dimensional style embedding. Motivated by this, we introduce CoMatch Layer that learns to match the second order feature statistics with the target styles. With the CoMatch Layer, we build a Multi-style Generative Network (MSG-Net), which achieves real-time performance. We also employ an specific strategy of upsampled convolution which avoids checkerboard artifacts caused by fractionally-strided convolution. Our method has achieved superior image quality comparing to state-of-the-art approaches. The proposed MSG-Net as a general approach for real-time style transfer is compatible with most existing techniques including content-style interpolation, color-preserving, spatial control and brush stroke size control. MSG-Net is the first to achieve real-time brush-size control in a purely feed-forward manner for style transfer. Our implementations and pre-trained models for Torch, PyTorch and MXNet frameworks will be publicly available.

연구 동기 및 목표

• 1D 스타일 임베딩을 넘어 실시간 스타일 전송의 품질과 유연성을 향상시키려는 목적.
• 대상 스타일의 2차 특성 통계(Gram 행렬)를 맞추는 CoMatch Layer를 도입한다.
• 아티팩트를 피하기 위한 업샘플링 전략을 갖춘 다중 스타일 생성기 MSG-Net를 구축한다.
• 콘텐츠-스타일 보간, 색상 보존, 공간 제어와의 호환성 및 실시간 브러시 크기 제어를 가능하게 한다.
• 품질 손실을 거의 없애면서 100에서 1,000 스타일로의 확장 가능성을 시연한다.

제안 방법

• 스타일 대상의 Gram 행렬 통계를 맞춰 2D 스타일 표현을 학습하는 CoMatch Layer를 제안한다.
• Checkerboard 아티팩트를 피하기 위해 업샘플링 컨볼루션 디코더를 갖춘 Multi-style Generative Network (MSG-Net)에 CoMatch Layer를 삽입한다.
• 채널 풍부함을 유지하고 더 깊은 네트워크를 가능하게 하는 업샘플링 잔차 블록을 사용한다.
• 사전 학습된 손실 네트워크(예: VGG)와 지각 손실을 사용하여 콘텐츠 및 다중 스케일 스타일 항을 결합한 손실로 학습한다.
• 스타일 통계를 추출하기 위해 시암쌘 인코더를 채택하고, 다양한 스케일에서 CoMatch Layer를 통해 이를 적용하는 변환 네트워크를 사용한다.
• 입력 스타일 이미지 크기를 다르게 하여 브러시 크기 제어를 가능하게 하고 여러 스타일 크기로 학습한다.

실험 결과

연구 질문

• RQ1 2D 스타일 표현이 Gram 행렬 통계를 통해 고품질의 다중 스타일 전송을 단일 피드포워드 네트워크에서 가능하게 하는가?
• RQ2 CoMatch Layer가 여러 스타일에 대해 전통적 1D 임베딩보다 스타일 충실도를 향상시키는가?
• RQ3 순수 피드포워드 프레임워크에서 아티팩트 없이 실시간 브러시 크기 제어가 가능한가?
• RQ4 스타일 수를 100에서 1,000으로 확장할 때 MSG-Net의 확장성은 어떠한가?
• RQ5 MSG-Net이 콘텐츠-스타일 보간 및 공간 제어와 같은 기존 스타일 전송 기법과 호환되는가?

주요 결과

• MSG-Net은 여러 기존 방법에 비해 우수한 이미지 충실도와 실시간 속도를 달성한다.
• CoMatch Layer를 통한 2D 스타일 표현은 대상 스타일의 2차 통계를 효과적으로 매치한다.
• 업샘플링 컨볼루션과 업샘플링 잔차 블록이checkerboard 아티팩트를 줄이면서도 효율성을 유지한다.
• MSG-Net-100(2.3M 파라미터)은 256×256 입력에 대해 90fps 이상으로 실행되며 스타일 보간, 색상 보존, 공간 제어 기능과도 호환된다.
• MSG-Net-1K(8.9M 파라미터)로 확장해도 품질 저하가 뚜렷하게 나타나지 않으며 다중 스타일 가능성이 확장 가능함을 보여준다.
• 입력 스타일 이미지 크기를 바꿔 실시간 브러시 크기 제어를 가능하게 하는 것은 순수 피드포워드 다중 스타일 전송의 최초 사례이다.