[논문 리뷰] Ultrafast Photorealistic Style Transfer via Neural Architecture Search

Jie An, Haoyi Xiong외 2명|arXiv (Cornell University)|2019. 12. 05.

Image Enhancement Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 신경 구조 탐색(NAS) 기반 네트워크(PhotoNet)와 교사-학생 프루닝 프레임워크를 결합한 초고속 사진 유사 스타일 전이 방법인 PhotoNAS를 제안한다. 밀집형 오토인코더에 복합 특징 집합(Bottleneck Feature Aggregation, BFA)과 인스턴스 정규화 스위프 연결(Instance Normalized Skip Links, INSL)을 도입하고, 가속화를 위한 자동화된 신경 구조 탐색을 적용함으로써, 후처리 또는 영역 마스크 없이도 최첨단 기법보다 20–30배 빠른 추론 속도를 달성하면서도 뛰어난 사진 유사성과 세부 사항 보존 성능을 유지를 한다.

ABSTRACT

The key challenge in photorealistic style transfer is that an algorithm should faithfully transfer the style of a reference photo to a content photo while the generated image should look like one captured by a camera. Although several photorealistic style transfer algorithms have been proposed, they need to rely on post- and/or pre-processing to make the generated images look photorealistic. If we disable the additional processing, these algorithms would fail to produce plausible photorealistic stylization in terms of detail preservation and photorealism. In this work, we propose an effective solution to these issues. Our method consists of a construction step (C-step) to build a photorealistic stylization network and a pruning step (P-step) for acceleration. In the C-step, we propose a dense auto-encoder named PhotoNet based on a carefully designed pre-analysis. PhotoNet integrates a feature aggregation module (BFA) and instance normalized skip links (INSL). To generate faithful stylization, we introduce multiple style transfer modules in the decoder and INSLs. PhotoNet significantly outperforms existing algorithms in terms of both efficiency and effectiveness. In the P-step, we adopt a neural architecture search method to accelerate PhotoNet. We propose an automatic network pruning framework in the manner of teacher-student learning for photorealistic stylization. The network architecture named PhotoNAS resulted from the search achieves significant acceleration over PhotoNet while keeping the stylization effects almost intact. We conduct extensive experiments on both image and video transfer. The results show that our method can produce favorable results while achieving 20-30 times acceleration in comparison with the existing state-of-the-art approaches. It is worth noting that the proposed algorithm accomplishes better performance without any pre- or post-processing.

연구 동기 및 목표

• 후처리나 영역 마스크에 의존하는 기존 사진 유사 스타일 전이 방법의 한계를 해결하기 위해.
• 사진 유사 스타일 전이에 특화된 전용 신경 구조를 설계하여 세부 사항 보존 및 현실감을 향상시키기 위해.
• 스타일 전이 품질을 손상시키지 않고 자동화된 신경 구조 탐색을 통해 모델을 크게 가속화하기 위해.
• 보조 처리 없이 이미지 및 영상에 대한 종단 간 실시간 사진 유사 스타일 전이를 가능하게 하기 위해.

제안 방법

• 다양한 해상도의 특징을 융합하기 위해 복합 특징 집합(Bottleneck Feature Aggregation, BFA)을 적용한 비대칭 오토인코더인 PhotoNet을 제안한다.
• 스위프 연결과 인스턴스 정규화를 융합한 인스턴스 정규화 스위프 연결(Instance Normalized Skip Links, INSL)을 도입하여 특징 복구를 향상시키고 '단절' 아티팩트를 감소시킨다.
• PhotoNet의 불필요한 연산자들을 자동으로 제거하기 위해 신경 구조 탐색(StyleNAS)에서 교사-학생 학습 프레임워크를 활용한다.
• 진화 알고리즘을 사용해 탐색 공간 내에서 반복적으로 아키텍처를 변형하고 평가하며, 고속 추론을 위한 필수 구성 요소만 유지한다.
• 이 탐색 프레임워크를 적용해 실시간 사진 유사 스타일 전이를 위한 소형, 고속, 정밀한 모델인 PhotoNAS를 유도한다.
• WCT 스타일 변환에서 조정 가능한 초수치 ε를 통해 스타일 효과 제어를 가능하게 하여 사용자 선호도 조정이 가능하다.

실험 결과

연구 질문

• RQ1 후처리나 영역 마스크에 의존하지 않고도 사진 유사 스타일 전이 성능을 향상시킬 수 있는 전용 신경 구조를 설계할 수 있는가?
• RQ2 사진 유사 스타일 전이 모델의 가속화를 위해 신경 구조 탐색 프레임워크를 어떻게 변형 적용할 수 있으며, 고해상도 스타일 전이 품질을 유지할 수 있는가?
• RQ3 BFA 및 INSL과 같은 아키텍처 구성 요소가 스타일 전이 결과의 세부 사항 보존 및 사진 유사성에 얼마나 기여하는가?
• RQ4 WCT 스타일 변환 모듈의 ε 초수치가 노이즈 민감도와 스타일 전이 품질에 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 시각적 품질 저하 없이 이미지 및 영상 모두에서 실시간 성능을 달성할 수 있는가?

주요 결과

• PhotoNAS는 PhotoWCT 및 WCT 2와 같은 최첨단 기법보다 추론 속도가 20–30배 빠르며, 스타일 전이 품질을 유지하거나 향상시킨다.
• Table 5에서 검증된 바와 같이, PhotoNet은 DPST, PhotoWCT 및 WCT 2보다 아티팩트 감소, 왜곡 감소 및 뛰어난 세부 사항 보존 성능을 확보한다.
• 후처리나 영역 마스크 없이도 사진 유사 결과를 생성하여 기존 방법에서 흔히 발생하는 과도한 부드러움과 공간 왜곡을 방지한다.
• 제안된 WCT 스타일 모듈의 ε 초수치는 노이즈 민감도에 영향을 미친다: 작은 ε 값은 노이즈가 많은 콘텐츠 이미지에서 노이즈를 증가시키지만, 큰 값은 신호 대비 노이즈 비율을 개선한다.
• Figure 21에서 보듯이, 메서드는 안정적인 사진 유사 영상 전이를 성공적으로 구현하였으며, 일관된 스타일과 최소한의 시간적 플리커를 유지한다.
• 실패 사례로는 스타일 사진에 다수의 상충되는 스타일 요소가 포함되어 있을 경우 뚜렷하지 않은 스타일 전이가 발생하고, 노이즈가 많은 콘텐츠 이미지에서 노이즈 출력이 발생하는 경우가 있으며, 이는 복잡하거나 신호 대비 노이즈 비율이 낮은 환경에서의 한계를 시사한다.