[논문 리뷰] A Style-Aware Content Loss for Real-time HD Style Transfer

Artsiom Sanakoyeu, Dmytro Kotovenko외 2명|arXiv (Cornell University)|2018. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 13

한 줄 요약

이 논문은 이미지넷 사전 훈련된 네트워크의 편향을 피하기 위해, 스타일 간 유사성을 기반으로 그룹화된 다수의 스타일 이미지를 활용하여 콘텐츠를 스타일에 맞게 조정하는 스타일 인식 콘텐츠 손실을 제안한다. 이는 실시간, 고해상도 이미지 및 영상 스타일 전이를 가능하게 하며, 기존의 단일 스타일 이미지나 평균화된 그람 행렬에 의존하는 방법들과는 달리, 스타일이 콘텐츠에 미치는 영향을 다수의 유사한 스타일 이미지를 통해 학습함으로써, 최신 기술 대비 뛰어난 시각적 품질과 더 빠른 추론 속도를 달성한다.

ABSTRACT

Recently, style transfer has received a lot of attention. While much of this research has aimed at speeding up processing, the approaches are still lacking from a principled, art historical standpoint: a style is more than just a single image or an artist, but previous work is limited to only a single instance of a style or shows no benefit from more images. Moreover, previous work has relied on a direct comparison of art in the domain of RGB images or on CNNs pre-trained on ImageNet, which requires millions of labeled object bounding boxes and can introduce an extra bias, since it has been assembled without artistic consideration. To circumvent these issues, we propose a style-aware content loss, which is trained jointly with a deep encoder-decoder network for real-time, high-resolution stylization of images and videos. We propose a quantitative measure for evaluating the quality of a stylized image and also have art historians rank patches from our approach against those from previous work. These and our qualitative results ranging from small image patches to megapixel stylistic images and videos show that our approach better captures the subtle nature in which a style affects content.

연구 동기 및 목표

• 기존의 스타일 전이 방법이 단일 스타일 이미지나 이미지넷 사전 훈련된 네트워크에 의존함으로써 발생하는 편향과 스타일의 다양성을 반영하지 못하는 한계를 해결하기 위해.
• 단일 예술 스타일의 대표적인 예시를 다수 활용하여 스타일이 콘텐츠에 미치는 영향을 학습하는 방법을 개발하기 위해.
• 사전 훈련된 VGG 네트워크나 픽셀 단위의 RGB 비교에 의존하지 않고, 실시간 고해상도 이미지 및 영상 스타일 전이를 가능하게 하기 위해.
• 스타일을 단일 이미지가 아닌 다면적이고 집단적인 표현으로 간주하는 예술사적 원칙에 기반한 스타일 전이 방법을 제공하기 위해.

제안 방법

• 딥 에너지-디코더 네트워크와 함께 훈련되는 스타일 인식 콘텐츠 손실을 제안하며, 이는 스타일화된 출력에서 콘텐츠를 재구성함으로써 스타일에 적응하는 콘텐츠 보존을 가능하게 한다.
• 스태틱한 스타일화된 출력의 현실감을 향상시키기 위해 디스크림ิน레이터를 포함한 생성적 적대 신경망(GAN)을 사용한다.
• 이미지넷 사전 훈련을 피하기 위해 에너지와 생성기 모두를 끝에서부터 훈련함으로써 객체 탐지 편향을 제거한다.
• 스틸리스틱 유사성 기반 클러스터링을 통해 스타일 이미지를 그룹화하여, 동일한 예술 스타일에 대해 일관된 학습이 이루어지도록 한다.
• 모드 붕괴를 방지하기 위해, 끝에서부터 훈련하는 데 안정성을 제공하는 변환된 이미지 손실을 사용한다.
• 스킵 연결을 갖춘 잔차 U-Net 아키텍처를 사용하여 스타일 전이 과정에서 공간적 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 VGG 네트워크에 의존하는 방법과 비교해, 끝에서부터 훈련되는 스타일 인식 콘텐츠 손실이 스타일 전이 품질을 향상시키는가?
• RQ2 유사성 기반으로 그룹화된 다수의 대표적 스타일 이미지를 사용할 경우, 단일 이미지나 평균화된 그람 행렬 방법에 비해 스타일화된 출력의 정확성과 현실감이 어떻게 향상되는가?
• RQ3 이미지넷 편향 없이, 학습된 콘텐츠 손실을 갖춘 GAN 기반 생성기로 실시간 고해상도 스타일 전이를 어느 정도 달성할 수 있는가?
• RQ4 복잡한 스타일 변환 상황에서, 이 방법이 세밀한 콘텐츠 세부 정보(예: 윤곽선, 질감)를 더 잘 보존하는가?
• RQ5 전문가들이 이 방법의 출력과 실제 예술 작품을 신뢰성 있게 구별할 수 있는가? 이는 시각적 타당성을 시사한다.

주요 결과

• 전문가 인식 테스트에서 본 방법은 39.3%의 오도율을 기록하여, CycleGAN(13.9%) 및 Gatys 등(14.7%)을 포함한 모든 기준 방법들을 뛰어넘었다.
• 미술사학자들의 평가에서 본 방법은 49.5%의 경우에서 최상의 품질로 평가되었으며, Gatys 등은 17.8%에 그쳤다. 이는 강력한 시각적 품질을 의미한다.
• Titan X에서 768×768 해상도의 이미지당 0.07초의 실시간 추론 속도를 달성하였으며, GPU 메모리는 1043 MiB에 불과하여 대부분의 기준 방법보다 빠르고 메모리 효율성이 뛰어나다.
• 절단 실험 결과, 스타일 인식 콘텐츠 손실을 제거할 경우 훈련 불안정성과 열악한 성능이 발생함을 확인하여, 이 손실의 핵심적 역할을 입증하였다.
• 사전 훈련된 VGG16 에너지보다 학습된 에너지를 사용할 경우 성능 저하가 발생함을 확인하여, 스타일 특화의 종단 간(end-to-end) 훈련의 유용성을 입증하였다.
• 모든 가우긴 작품을 그룹화하지 않은 채로 훈련할 경우 모드 붕괴와 열악한 결과가 발생함을 확인하여, 스타일 그룹화의 必요성을 강조하였다.