[논문 리뷰] Rethinking and Improving the Robustness of Image Style Transfer

Pei Wang, Yijun Li외 1명|arXiv (Cornell University)|2021. 04. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 10

한 줄 요약

이 논문은 ResNet 아키텍처에서 잔차 연결이 특징 엔트로피를 감소시켜 고도로 발전된 네트워크 설계임에도 불구하고 스타일 전이 품질을 떨어뜨린다고 밝힌다. 저자들은 특징 활성화에 소프트맥스 변환을 적용함으로써 엔트로피를 향상시키고, 이로 인해 스타일 전이의 강건성을 크게 향상시킨다 — 심지어 무작위 가중치를 사용할 때도 마찬가지로 성능 향상을 보이며, 아키텍처 선택이 스타일 전이에서 학습된 특징보다 더 중요하다는 것을 입증한다.

ABSTRACT

Extensive research in neural style transfer methods has shown that the correlation between features extracted by a pre-trained VGG network has a remarkable ability to capture the visual style of an image. Surprisingly, however, this stylization quality is not robust and often degrades significantly when applied to features from more advanced and lightweight networks, such as those in the ResNet family. By performing extensive experiments with different network architectures, we find that residual connections, which represent the main architectural difference between VGG and ResNet, produce feature maps of small entropy, which are not suitable for style transfer. To improve the robustness of the ResNet architecture, we then propose a simple yet effective solution based on a softmax transformation of the feature activations that enhances their entropy. Experimental results demonstrate that this small magic can greatly improve the quality of stylization results, even for networks with random weights. This suggests that the architecture used for feature extraction is more important than the use of learned weights for the task of style transfer.

연구 동기 및 목표

• 최신 경량 네트워크인 ResNet이 강력한 특징 표현 능력을 지녔음에도 불구하고 신경망 기반 스타일 전이에서 성능이 열등한 이유를 조사하기 위해.
• VGG와 비교했을 때 ResNet의 특징을 사용할 경우 스타일 전이 품질이 열등해지는 근본 원인을 규명하기 위해.
• 특징 엔트로피를 향상시켜 스타일 전이의 강건성을 향상시키는 단순한 아키텍처 수정을 제안하기 위해.
• 네트워크 아키텍처가 스타일 전이 품질에 미치는 영향이 학습된 가중치보다 더 중요하다는 것을 입증하기 위해.

제안 방법

• 저자들은 다양한 네트워크의 특징 맵을 분석하여 엔트로피를 측정함으로써 스타일 전이 성능이 열등한 아키텍처적 원인을 규명한다.
• 그들은 ResNet의 잔차 연결이 낮은 엔트로피의 특징 맵을 생성함을 발견하며, 이는 스타일 전이에 적합하지 않음을 확인한다.
• 특징 활성화에 소프트맥스 변환을 적용하여 엔트로피를 증가시키고 스타일 모델링에 대한 구분 능력을 향상시킨다.
• 사전 훈련된 네트워크뿐 아니라 무작위 초기화된 네트워크에도 적용하여 일반화 능력과 강건성을 테스트한다.
• 다양한 아키텍처와 데이터셋을 대상으로 평가하여 소프트맥스 변환 유무에 따른 스타일 전이 품질을 비교한다.

실험 결과

연구 질문

• RQ1 왜 최신 경량 네트워크인 ResNet을 사용할 경우 신경망 기반 스타일 전이가 열등해지는가?
• RQ2 ResNet의 어떤 아키텍처적 특성이 강력한 특징 학습 능력을 지녔음에도 불구하고 스타일 전이 성능을 떨어뜨리는가?
• RQ3 활성화 변환을 통해 특징 엔트로피를 향상시키면 비-VGG 네트워크에서도 스타일 전이 품질을 복구하거나 향상시킬 수 있는가?
• RQ4 스태일 전이 성능에서 네트워크 아키텍처가 학습된 가중치보다 얼마나 더 중요할까?

주요 결과

• ResNet 아키텍처의 잔차 연결은 낮은 엔트로피를 가진 특징 맵을 생성하며, 이는 시각적 스타일을 포착하기에 부적합하다.
• 특징 활성화에 소프트맥스 변환을 적용하면 엔트로피가 크게 증가하고 스타일 전이 품질이 향상된다.
• 제안된 방법은 무작위 초기화된 가중치를 사용할 때도 높은 품질의 스타일 전이 결과를 도출하며, 아키텍처가 학습된 특징보다 더 중요하다는 것을 시사한다.
• 이러한 향상은 여러 아키텍처와 데이터셋에서 일관되게 관찰되며 광범위한 강건성을 입증한다.
• 경량 또는 미사전 훈련된 네트워크와 같은 비우선적 조건에서 표준 VGG 기반 스타일 전이를 능가한다.