[논문 리뷰] Fast Universal Style Transfer for Artistic and Photorealistic Rendering

Jie An, Haoyi Xiong외 3명|arXiv (Cornell University)|2019. 07. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 예술적 및 사실적인 렌더링에서 빠르고 단일 패assing 전용의 유니버설 스타일 전이를 위한 다층 오토인코더 기반의 새로운 신경망 아키텍처인 ArtNet과 PhotoNet을 제안한다. 특징 집약 및 정규화된 스케잎 연결을 사전 정의된 스타일 전이 모듈(예: WCT, AdaIN)과 통합함으로써, 이전 방법 대비 3배에서 100배 빠른 속도로 최신 기술 수준의 스타일 전이 품질을 달성하며, 이미지 세부 정보를 유지하면서 아티팩트, 왜곡 및 계산 비용을 크게 감소시킨다.

ABSTRACT

Universal style transfer is an image editing task that renders an input content image using the visual style of arbitrary reference images, including both artistic and photorealistic stylization. Given a pair of images as the source of content and the reference of style, existing solutions usually first train an auto-encoder (AE) to reconstruct the image using deep features and then embeds pre-defined style transfer modules into the AE reconstruction procedure to transfer the style of the reconstructed image through modifying the deep features. While existing methods typically need multiple rounds of time-consuming AE reconstruction for better stylization, our work intends to design novel neural network architectures on top of AE for fast style transfer with fewer artifacts and distortions all in one pass of end-to-end inference. To this end, we propose two network architectures named ArtNet and PhotoNet to improve artistic and photo-realistic stylization, respectively. Extensive experiments demonstrate that ArtNet generates images with fewer artifacts and distortions against the state-of-the-art artistic transfer algorithms, while PhotoNet improves the photorealistic stylization results by creating sharp images faithfully preserving rich details of the input content. Moreover, ArtNet and PhotoNet can achieve 3X to 100X speed-up over the state-of-the-art algorithms, which is a major advantage for large content images.

연구 동기 및 목표

• 다중 라운드 재구성과 후처리에 의존하는 기존 유니버설 스타일 전이 방법에서 발생하는 높은 계산 비용과 품질 저하(아티팩트, 왜곡) 문제를 해결하기 위해.
• 반복적인 정밀 조정이나 시간 소모적인 최적화가 필요 없는 단일 추론 패assing을 통한 빠른 엔드 투 엔드 스타일 전이를 가능하게 하기 위해.
• 향상된 오토인코더 아키텍처를 사용하여 예술적 및 사실적인 렌더링 모두에서 세부 정보 보존 및 선명도 향상을 통해 스타일 전이 품질을 향상시키기 위해.
• WCT, AdaIN, PhotoWCT와 같은 최신 기술 수준의 방법보다 시각적 품질과 추론 속도 면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 다양한 수준의 특징을 인코더에서 수집하고 다단계 스타일 전이 모듈(MST)을 적용하여 아티스틱 스타일 전이의 아티팩트를 감소시키는 단일 프로퍼티 네트워크인 ArtNet을 제안한다.
• 세부 정보 보존을 위해 정규화된 스케잎 연결을 사용하는 PhotoNet을 도입하여 사실적인 스타일 전이에서 선명도와 원본 콘텐츠에 대한 충실도를 향상시킨다.
• 스타일 전이 이전에 이미지 왜곡과 아티팩트를 최소화하기 위해 개선된 재구성 능력을 갖춘 사전 훈련된 오토인코더를 사용한다.
• 반복적인 재구성 루프를 피하기 위해 디코더 또는 스케잎 연결에서 사전 정의된 스타일 전이 모듈(예: WCT, AdaIN)을 직접 적용한다.
• 저수준 및 고수준 특징 간의 특징 집약을 통해 스타일 전이 중 구조적 및 텍스처 세부 정보를 더 잘 보존한다.
• 단일 프로퍼티 패assing을 사용하여 다중 라운드 방법 대비 계산 시간을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 단일 패assing, 엔드 투 엔드 신경망 아키텍처가 다중 라운드 스타일 전이 방법보다 속도와 시각적 품질 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 특징 집약과 정규화된 스케잎 연결이 각각 아티스틱 및 사실적인 스타일 전이에서 아티팩트와 왜곡을 감소시키는 데 기여하는가?
• RQ3 향상된 오토인코더 재구성 능력은 반복 정밀 조정 없이도 스타일 전이 성능을 향상시키는 데 어느 정도 기여하는가?
• RQ4 스타일 전이 모듈을 디코더의 조기 단계 또는 후기 단계에 통합할 경우 이미지 품질과 세부 정보 보존에 어떤 영향을 미치는가?

주요 결과

• ArtNet는 WCT와 AdaIN에 비해 아티팩트와 왜곡을 감소시켜 단일 추론 패assing으로도 뛰어난 예술적 스타일 전이 결과를 도출한다.
• PhotoNet는 PhotoWCT보다 더 선명하고 세부 정보가 풍부한 이미지를 생성하며, 더 높은 총 변동성 점수를 통해 세부 정보 보존 능력이 뛰어나다.
• 제안된 방법들은 최신 기술 수준의 알고리즘 대비 3배에서 100배 빠른 속도를 기록하며, 특히 대규모 콘텐츠 이미지에 큰 이점을 제공한다.
• ArtNet와 PhotoNet의 이미지 재구성 오차는 각각 74,643.66과 75,021.59로 WCT(83,196.87)와 AdaIN(86,611.57)보다 유의미하게 낮아 특징의 충실도가 높음을 시사한다.
• FID 점수는 PhotoNet이 PhotoWCT를 능가함을 보여주며, 사실적인 전이에서 기준 스타일 이미지와의 분포 유사도가 더 높음을 의미한다.
• 절단 실험 결과 특징 집약(FA)과 정규화된 스케잎 연결(NS)이 핵심 구성 요소임을 확인하였으며, MST-∞(모든 단계)가 가장 우수한 시각적 결과를 도출한다.