[논문 리뷰] Meta Networks for Neural Style Transfer

Falong Shen, Shuicheng Yan외 1명|arXiv (Cornell University)|2017. 09. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 20

한 줄 요약

이 논문은 단일 forward pass 내에서 스타일에 특화된 이미지 변환 네트워크를 생성하는 메타 네트워크를 제안하며, GPU에서 새로운 스타일에 대해 단지 19ms 내에 실시간 신경 스타일 전환을 가능하게 한다. 이 방법은 반복 최적화를 대체하여 직접 매개변수를 생성하며, 이로 인해 모바일 배포에 적합한 작고(compact) 449KB의 모델을 생성한다. 이는 고품질의 결과를 유지하면서도 스타일의 보간 및 생성을 학습된 네트워크 다양체를 통해 가능하게 한다.

ABSTRACT

In this paper we propose a new method to get the specified network parameters through one time feed-forward propagation of the meta networks and explore the application to neural style transfer. Recent works on style transfer typically need to train image transformation networks for every new style, and the style is encoded in the network parameters by enormous iterations of stochastic gradient descent. To tackle these issues, we build a meta network which takes in the style image and produces a corresponding image transformations network directly. Compared with optimization-based methods for every style, our meta networks can handle an arbitrary new style within $19ms$ seconds on one modern GPU card. The fast image transformation network generated by our meta network is only 449KB, which is capable of real-time executing on a mobile device. We also investigate the manifold of the style transfer networks by operating the hidden features from meta networks. Experiments have well validated the effectiveness of our method. Code and trained models has been released https://github.com/FalongShen/styletransfer.

연구 동기 및 목표

• 신경 스타일 전환에서 스타일당 반복 최적화가 필요 없도록 하는 것.
• 재학습 없이도 임의의 새로운 스타일에 대해 실시간 스타일 전환을 가능하게 하는 것.
• 제어 가능한 스타일 조작을 위한 명시적이고 미분 가능한 이미지 변환 네트워크 표현을 제공하는 것.
• 은닉 상태 보간을 통해 네트워크 다양체의 기하학적 구조를 탐색하는 것.

제안 방법

• 메타 네트워크는 고정된 VGG-16 백본과 일련의 완전 연결 층을 통해 스타일 이미지를 이미지 변환 네트워크의 매개변수로 매핑하도록 훈련된다.
• 메타 네트워크의 버팀목(bottleneck) 레이어는 스타일을 잠재 벡터로 인코딩하며, 이는 직접적으로 이미지 변환 네트워크의 합성곱 필터 가중치를 생성한다.
• 이미지 변환 네트워크는 인스턴스 정규화와 ReLU 활성화 함수를 갖는 잔차 블록으로 구성되며, 추론 시에는 오직粉색 영역의 필터들만 메타 네트워크에 의해 생성된다.
• 모델은 콘텐츠 이미지와 스타일 이미지 모두에 대해 경험적 리스크 최소화를 통해 훈련되어 메타 네트워크의 엔드 투 엔드 최적화를 가능하게 한다.
• 메타 네트워크의 은닉 공간에서의 선형 보간은 두 스타일 간의 부드러운 스타일 전환을 가능하게 한다.
• 은닉 공간에서의 랜덤 샘플링은 새로운 스타일 생성을 가능하게 하며, 학습된 다양체의 다양성과 연속성을 입증한다.

실험 결과

연구 질문

• RQ1 메타 네트워크는 반복 최적화를 회피하고 단일 forward pass 내에서 고품질의 스타일 전용 이미지 변환 네트워크를 생성할 수 있는가?
• RQ2 SGD 기반 방법과 비교해 메타 네트워크에 의해 생성된 네트워크의 속도와 시각적 품질은 어떻게 되는가?
• RQ3 메타 네트워크의 은닉 표현은 의미 있는 스타일 보간 및 생성을 지원할 수 있는가?
• RQ4 메타 네트워크에 의해 유도된 네트워크 다양체의 구조적이고 기하학적인 성질은 무엇인가?
• RQ5 생성된 이미지 변환 네트워크는 모바일 장치에 효율적으로 배포될 수 있는가?

주요 결과

• 메타 네트워크는 단일 GPU에서 19ms 내에 스타일 전용 이미지 변환 네트워크를 생성하여 실시간 추론를 달성한다.
• 결과로 생성된 이미지 변환 네트워크는 크기가 단지 449KB 뿐이어서 모바일 장치에서 실시간으로 실행이 가능하다.
• 이 방법은 일반적으로 스타일당 4시간의 훈련이 필요한 SGD 기반 최적화와 비교해 시각적 품질이 유사한 성능을 달성한다.
• 메타 네트워크의 은닉 공간에서의 선형 보간은 타당한 중간 스타일을 생성하여 네트워크 다양체의 연속성을 입증한다.
• 은닉 공간에서의 랜덤 샘플링은 다양한, 현실적인, 스타일적으로 일관된 무늬를 생성하며, 효과적인 스타일 분리(disentanglement)를 나타낸다.
• 콘텐츠 이미지를 메타 네트워크에 입력함으로써 아이덴티티 변환 네트워크를 확보할 수 있으며, 이는 보간을 통한 제어 가능한 스타일 강도 조절을 가능하게 한다.