[논문 리뷰] Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning

Jie An, Tao Li외 7명|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 60인용 수 13

한 줄 요약

이 논문은 고해상도 이미지에서 실시간 유니버설 스타일 전이를 가능하게 하기 위해 GoogLeNet 기반의 경량 스타일 전이 네트워크인 ArtNet을 제안한다. 또한 중복된 특징을 제거하기 위한 새로운 Zero-channel Pruning 방법을 도입하여 성능 저하 없이 추론 속도를 향상시킨다. 더불어 스타일 전이 품질을 향상시키기 위해 $\mathbf{S}^{2}$ 모듈을 도입하여 512×512 해상도에서 68.03 FPS의 성능을 달성했으며, 높은 콘텐츠 유지도와 스타일 전이 정확도를 확보했다.

ABSTRACT

Extracting effective deep features to represent content and style information is the key to universal style transfer. Most existing algorithms use VGG19 as the feature extractor, which incurs a high computational cost and impedes real-time style transfer on high-resolution images. In this work, we propose a lightweight alternative architecture - ArtNet, which is based on GoogLeNet, and later pruned by a novel channel pruning method named Zero-channel Pruning specially designed for style transfer approaches. Besides, we propose a theoretically sound sandwich swap transform (S2) module to transfer deep features, which can create a pleasing holistic appearance and good local textures with an improved content preservation ability. By using ArtNet and S2, our method is 2.3 to 107.4 times faster than state-of-the-art approaches. The comprehensive experiments demonstrate that ArtNet can achieve universal, real-time, and high-quality style transfer on high-resolution images simultaneously, (68.03 FPS on 512 times 512 images).

연구 동기 및 목표

• 실시간 처리가 곤란한 고해상도 이미지에서 VGG19 기반 스타일 전이 모델의 높은 계산 비용 문제를 해결한다.
• 추론 지연을 극도로 줄이면서도 높은 스타일 전이 품질을 유지하는 경량 특징 추출기 개발.
• 기존의 유니버설 스타일 전이 방법에서 콘텐츠 유지도와 스타일 전이 품질 간의 상충 관계를 해결한다.
• 시각적 정확도를 훼손하지 않고도 고해상도 이미지(예: 512×512)에서 실시간(≥30 FPS) 유니버설 스타일 전이를 가능하게 한다.
• 스타일 전이 네트워크에 특화된 프루닝 방법을 설계하여 성능을 유지하면서 추론 속도를 향상시킨다.

제안 방법

• VGG19를 특징 추출기로 대체하기 위해 GoogLeNet 기반의 경량 오토인코더 아키텍처인 ArtNet을 제안하여 계산 비용을 감소시킨다.
• 사전 훈련된 네트워크의 ReLU 활성화 레이어에서 발생하는 '0채널'(공백 특징 맵)을 식별하고 제거하는 새로운 채널 프루닝 방법인 Zero-channel Pruning을 도입하며, 미세조정 없이도 가능하다.
• 제거된 채널에 대응하는 합성곱 및 배치 정규화 레이어를 프루닝하여 네트워크의 무결성과 효율성을 유지한다.
• 두 개의 AdaIN 연산과 스타일 스왑 모듈을 조합한 $\mathbf{S}^{2}$ (샌드위치 스왑) 모듈을 설계하여 색상 왜곡을 보정하고 스타일 전이 및 콘텐츠 유지도를 향상시킨다.
• 다중 수준 특징 집약을 적용하여 스타일 전이 결과물의 국소 텍스처 렌더링과 전반적인 외관 일관성을 향상시킨다.
• 스타일 전이 품질을 최적화하면서 콘텐츠 구조를 유지하기 위해 그램 기반 손실 함수를 사용해 오토인코더를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 콘텐츠 성능 저하 없이 VGG19를 대체할 수 있는 경량 신경망 아키텍처가 유니버설 스타일 전이에 적용될 수 있는가?
• RQ2 스타일 전이 네트워크에 특화된 프루닝 방법이 성능 저하 최소화로 인해 상당한 속도 향상을 이룰 수 있는가?
• RQ3 새로운 특징 변환 모듈이 동시에 스타일 전이 품질 향상과 콘텐츠 유지도 향상을 이룰 수 있는가?
• RQ4 고해상도 이미지(512×512)에서 시각적 품질을 유지하면서 실시간(≥30 FPS) 유니버설 스타일 전이를 달성할 수 있는가?
• RQ5 기존의 프루닝 방법에 비해 제안된 Zero-channel Pruning는 스타일 전이에 대해 성능 저하 없이 가속화를 달성하는 데 얼마나 효과적인가?

주요 결과

• ArtNet는 512×512 이미지에서 68.03 FPS를 달성하여 최신 기술 대비 2.3배에서 107.4배까지의 속도 향상을 보였다.
• Zero-channel Pruning는 모델 크기와 추론 시간을 최대 2배까지 감소시켰으며, 이미지 복원 및 스타일 전이 결과를 통해 성능 저하가 거의 없음을 입증했다.
• $\mathbf{S}^{2}$ 모듈은 콘텐츠 유지도와 색상 일치도를 향상시켜 AdaIN 및 StyleSwap과 같은 기준 모듈보다 정량적·정성적 평가에서 뛰어난 성능을 보였다.
• 사용자 연구에서 ArtNet는 SSIM(0.897)에서 두 번째로 높은 순위를 기록했음에도 불구하고 가장 높은 사용자 선호도를 확보하여 뛰어난 인지적 품질을 입증했다.
• ArtNet는 16배의 다운샘플링 비율을 유지하여 이전 방법이 4배 또는 8배로 제한된 것에 비해 더 넓은 수신장과 국소 텍스처를 더 잘 포착할 수 있었다.
• 제거 분석 결과, $\mathbf{S}^{2}$ 모듈의 이중 AdaIN 메커니즘이 콘텐츠 구조를 훼손하지 않으면서도 색상 오류를 효과적으로 보정하고 세부 정보 렌더링을 향상시킨다.