[논문 리뷰] ETNet: Error Transition Network for Arbitrary Style Transfer

Chunjin Song, Zhijie Wu외 3명|arXiv (Cornell University)|2019. 10. 26.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

ETNet는 공간적 및 스케일 인식 오류 전이를 사용하여 반복적으로 스타일화된 이미지를 개선하는 임의의 스타일 전이를 위한 반복적 오류 보정 프레임워크를 제안한다. 스타일 전이를 점진적 오류 보정으로 모델링함으로써 ETNet는 우수한 의미 일致성과 스타일 세부 정보를 달성하여 벤치마크 데이터셋에서 7.1984의 스타일 손실과 33.3%의 사용자 선호도 점수로 최신 기술을 초월하는 정성적 및 정량적 평가 성능을 보였다.

ABSTRACT

Numerous valuable efforts have been devoted to achieving arbitrary style transfer since the seminal work of Gatys et al. However, existing state-of-the-art approaches often generate insufficiently stylized results under challenging cases. We believe a fundamental reason is that these approaches try to generate the stylized result in a single shot and hence fail to fully satisfy the constraints on semantic structures in the content images and style patterns in the style images. Inspired by the works on error-correction, instead, we propose a self-correcting model to predict what is wrong with the current stylization and refine it accordingly in an iterative manner. For each refinement, we transit the error features across both the spatial and scale domain and invert the processed features into a residual image, with a network we call Error Transition Network (ETNet). The proposed model improves over the state-of-the-art methods with better semantic structures and more adaptive style pattern details. Various qualitative and quantitative experiments show that the key concept of both progressive strategy and error-correction leads to better results. Code and models are available at https://github.com/zhijieW94/ETNet.

연구 동기 및 목표

• 복잡한 콘텐츠-스타일 쌍에서 의미적 구조와 스타일 패턴을 유지하지 못하는 단일 스텝 스타일 전이 방법의 한계를 해결하기 위해.
• 오류를 점진적으로 보정하는 다중 개선 단계로 작업을 분해하여 스타일 전이 품질을 향상시키기 위해.
• 공간적 및 다중 스케일 표현에서 오류 특징을 학습함으로써 임의의 스타일 전이에서 더 나은 일반화 및 적응성을 가능하게 하기 위해.
• 계단식이고 피라미드 기반의 개선 아키텍처를 통해 콘텐츠 유지와 스타일 전이 정확성 사이의 균형을 이루기 위해.

제안 방법

• ETNet는 스타일화된 출력과 진짜 콘텐츠-스타일 쌍 간의 인지적 손실을 계산하기 위해 VGG 기반 인코더를 사용하여 깊은 특징을 추출한다.
• 오류 특징은 현재 스타일화된 결과와 진짜 값 간의 차이로 계산되며, 유사도 기반 어텐션 메커니즘을 사용해 이미지 전반에 걸쳐 확산된다.
• 다중 스케일 오류 전이 모듈은 비국소 블록을 사용하여 굵은 수준에서 더 미세한 수준으로 오류를 전파함으로써 장거리 의존성을 포착한다.
• ETNet의 디코더는 처리된 오류 특징을 잔차 이미지로 변환한 후, 이를 현재 스타일화된 이미지에 더하여 반복적으로 개선한다.
• 프레임워크는 라플라시안 피라미드 구조를 취하여 효율적인 다중 스케일 오류 전파를 지원하는 굵은 수준에서 미세 수준으로의 개선을 가능하게 한다.
• 런타임 제어 메커니즘은 파rameter α를 사용해 콘텐츠 및 스타일 오류 특징 간의 보간을 통해 조절 가능한 스타일화 강도를 허용한다.

실험 결과

연구 질문

• RQ1 반복적 오류 보정이 단일 스텝 생성을 초월하여 임의의 스타일 전이 품질을 향상시킬 수 있는가?
• RQ2 의미적 구조와 스타일 텍스처를 모두 유지하기 위해 오류 특징을 공간적 및 스케일 공간을 통해 효과적으로 전파할 수 있는가?
• RQ3 자기 보정 메커니즘이 인지적 품질과 사용자 선호도 측면에서 기존의 피드포워드 스타일 전이 모델을 능가할 수 있는가?
• RQ4 동일한 훈련된 모델이 다른 스타일 전이 방법의 출력을 개선하는 데 얼마나 널리 적용될 수 있는가?
• RQ5 제안된 방법이 복잡한 스타일 전이 시나리오에서 콘텐츠 유지와 스타일 적응성 사이의 균형을 얼마나 잘 유지하는가?

주요 결과

• ETNet는 벤치마크 데이터셋에서 스타일 손실 7.1984를 기록하여 WCT(26.1967), Avatar-Net(42.8833), AAMS(40.2651)보다 유의미하게 낮게, 스타일 패턴의 정확한 포착을 나타낸다.
• 사용자 선호도 연구에서 ETNet는 33.3%의 투표를 확보하여 AdaIN(16.1%), WCT(26.4%), Avatar-Net(13.0%), AAMS(11.2%)를 모두 앞서며 강력한 인지적 품질을 입증했다.
• ETNet는 1장당 0.5680초의 속도로 실행되며, WCT(0.7590초)와 Avatar-Net(1.1422초)보다 빠르며, 가장 빠른 방법인 AdaIN(0.1484초)와도 경쟁 가능하다.
• ETNet는 AdaIN과 WCT의 출력을 성공적으로 개선하여 색상 분포 일관성을 향상시키고 눈에 띄는 브러시스트로크 패턴을 강화했다.
• 런타임 제어 파rameter α는 재학습 없이도 미세한 스타일화 강도에서 강한 스타일화 강도까지 부드럽게 조절할 수 있도록 한다.
• 시각적 결과에서는 기준 모델이 왜곡을 유발하는 것과 달리, ETNet가 매우 복잡한 스타일 이미지에서도 의미적 구조와 텍스처 일관성을 유지함을 보였다.