[논문 리뷰] Collaborative Distillation for Ultra-Resolution Universal Style Transfer

Huan Wang, Yijun Li외 3명|arXiv (Cornell University)|2020. 03. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 63인용 수 7

한 줄 요약

이 논문은 VGG-19 인코더를 유니버설 스타일 전이에서 압축하기 위해 인코더-디코더 쌍 간의 독점적 협업 관계를 활용하는 새로운 지식 증류 방법인 Collaborative Distillation을 제안한다. 교사의 특징을 선형 임bedding으로 학습하도록 학생 인코더를 훈련시킴으로써, 이 방법은 12GB GPU에서 초고해상도 스타일 전이(최대 4000만 픽셀 이상)를 가능하게 하며, 시각적 품질을 유지하면서도 파rameter 수를 15.5배 감소시켜 최신 기술 수준의 성능을 달성한다. 이는 여러 스타일 전이 프레임워크에서 입증된다.

ABSTRACT

Universal style transfer methods typically leverage rich representations from deep Convolutional Neural Network (CNN) models (e.g., VGG-19) pre-trained on large collections of images. Despite the effectiveness, its application is heavily constrained by the large model size to handle ultra-resolution images given limited memory. In this work, we present a new knowledge distillation method (named Collaborative Distillation) for encoder-decoder based neural style transfer to reduce the convolutional filters. The main idea is underpinned by a finding that the encoder-decoder pairs construct an exclusive collaborative relationship, which is regarded as a new kind of knowledge for style transfer models. Moreover, to overcome the feature size mismatch when applying collaborative distillation, a linear embedding loss is introduced to drive the student network to learn a linear embedding of the teacher's features. Extensive experiments show the effectiveness of our method when applied to different universal style transfer approaches (WCT and AdaIN), even if the model size is reduced by 15.5 times. Especially, on WCT with the compressed models, we achieve ultra-resolution (over 40 megapixels) universal style transfer on a 12GB GPU for the first time. Further experiments on optimization-based stylization scheme show the generality of our algorithm on different stylization paradigms. Our code and trained models are available at https://github.com/mingsun-tse/collaborative-distillation.

연구 동기 및 목표

• 큰 VGG-19 모델 크기와 높은 메모리 소비로 인해 초고해상도 신경 스타일 전이에 한계가 존재하는 문제를 해결한다.
• 인코더-디코더 스타일 전이 모델을 압축할 때 발생하는 특징 차원 불일치 문제를 해결한다.
• 인코더와 디코더 간의 독점적 협업 관계를 새로운 형태의 지식으로 식별하고 활용한다.
• 소비자용 하드웨어(예: 12GB GPU)에서 시각적 품질을 손상시키지 않고 효율적인 고해상도 스타일 전이를 가능하게 한다.
• 다양한 스타일 전이 프레임워크, 즉 피드포워드 및 최적화 기반 접근 방식에 걸쳐 이 방법의 일반화 능력을 입증한다.

제안 방법

• 두 단계 압축 기법을 제안한다: 먼저 큰 인코더를 위한 협업자(디코더)를 훈련시고, 그 후 고정된 협업자를 유지한 채 큰 인코더를 더 작은 것으로 교체한다.
• 학생 인코더의 저차원 출력을 교사 인코더의 고차원 출력과 정렬하기 위해 선형 임베딩 손실을 도입하여 특징 크기 불일치 문제를 해결한다.
• 인코더와 디코더 간의 독점적 협업 관계를 레이블 기반 또는 활성화 기반 증류와는 다른 새로운 형태의 지식으로 간주한다.
• 두 가지 최신 기술 기반의 유니버설 스타일 전이 프레임워크인 WCT(이미지 재구성 기반)와 AdaIN(스타일 전이 기반)에 이 방법을 적용한다.
• 시각적 품질을 유지하기 위해 퍼셉추얼 손실, 콘텐츠 손실 및 협업 증류 손실을 함께 사용하여 훈련한다.
• 압축된 인코더를 최적화 기반 스타일 전이(Gatys et al.)에 적용하여 다양한 스타일 전이 프레임워크 간의 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 신경 스타일 전이에서 인코더와 디코더 간의 독점적 협업 관계를 새로운 형태의 지식으로 활용할 수 있는가?
• RQ2 기존에 훈련된 디코더와의 호환성을 유지하면서 인코더를 압축할 때 특징 차원 불일치 문제를 효과적으로 해결할 수 있는가?
• RQ3 협업 증류를 통한 모델 압축이 초고해상도 스타일 전이(예: 4000만 픽셀 이상)에서 시각적 품질을 얼마나 잘 유지할 수 있는가?
• RQ4 제안된 방법이 피드포워드 및 최적화 기반 접근 방식을 포함한 다양한 스타일 전이 프레임워크에 일반화되는가?
• RQ5 압축된 모델이 시각적 품질과 해상도 확장성 측면에서 기존의 압축 기법(예: 필터 프루닝)을 초월할 수 있는가?

주요 결과

• 제안된 Collaborative Distillation 방법은 처음으로 단일 12GB GPU에서 초고해상도 신경 스타일 전이(최대 10240×4096 픽셀)를 가능하게 하며, 약 31초 만에 스타일 전이를 수행한다.
• 모델 크기를 15.5배 줄였음에도 불구하고, 여러 데이터셋과 스타일 전이 방법에서 원본 VGG-19와 시각적으로 유사한 결과를 달성한다.
• 사용자 연구 결과, 압축된 모델은 필터 프루닝 기반 모델(FP)보다 선호되며, 원본 모델과 유사한 선호도 점수를 기록한다.
• 이 방법은 최적화 기반 스타일 전이(Gatys et al.)에도 효과적으로 일반화되며, 압축된 인코더가 원본과 거의 구분되지 않는 결과를 생성한다.
• 디코더에 증류를 적용할 경우 시각적 품질이 떨어지므로, 픽셀 및 퍼셉추얼 손실에 의해 강한 감독을 받는 디코더는 그대로 유지하는 것이 바람직하다는 것을 확인했다.
• 실험 결과, 기존의 지식 증류 방법(예: 소프트 레이블 증류)은 스타일 전이에 효과적이지 않으며, 분류 정확도 향상의 미미한 성과는 시각적 개선으로 이어지지 않는다.