[논문 리뷰] Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer

Xin Wang, Geoffrey Oxholm외 2명|arXiv (Cornell University)|2016. 11. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 다중 해상도에서 색상 및 밝기 채널을 동시에 모델링함으로써 고속이고 고해상도의 예술적 스타일 전이를 가능하게 하는 계층적 딥 컨volution 신경망인 Multimodal Transfer를 제안한다. 점진적으로 증가하는 해상도에서 다중 스타일 전이 손실을 사용하여 훈련함으로써, 이 방법은 고해상도 이미지에서 거친 질감 왜곡과 세밀한 브러시워크를 모두 유지하여 기존의 단일 손실 피드포워드 네트워크보다 시각적 정밀도를 크게 향상시킨다.

ABSTRACT

Transferring artistic styles onto everyday photographs has become an extremely popular task in both academia and industry. Recently, offline training has replaced on-line iterative optimization, enabling nearly real-time stylization. When those stylization networks are applied directly to high-resolution images, however, the style of localized regions often appears less similar to the desired artistic style. This is because the transfer process fails to capture small, intricate textures and maintain correct texture scales of the artworks. Here we propose a multimodal convolutional neural network that takes into consideration faithful representations of both color and luminance channels, and performs stylization hierarchically with multiple losses of increasing scales. Compared to state-of-the-art networks, our network can also perform style transfer in nearly real-time by conducting much more sophisticated training offline. By properly handling style and texture cues at multiple scales using several modalities, we can transfer not just large-scale, obvious style cues but also subtle, exquisite ones. That is, our scheme can generate results that are visually pleasing and more similar to multiple desired artistic styles with color and texture cues at multiple scales.

연구 동기 및 목표

• 고해상도 이미지에서 세밀한 브러시워크와 정확한 질감 척도를 유지하는 데에 한계가 있는 기존 피드포워드 스타일 전이 네트워크의 문제를 해결하기 위해.
• 고정 해상도의 스타일 이미지로 훈련함으로써 발생하는 질감 척도 불일치 문제를 극복하기 위해.
• 계층적 다중 해상도 프레임워크에서 색상과 밝기 채널을 동시에 모델링하여 시각적 품질을 향상시키기 위해.
• 정교한 예술적 세부 사항(예: 브러시워크)을 충실하게 포착하면서도 실시간 스타일 전이를 가능하게 하기 위해.
• 다양한 소스에서 유래한 독립적인 스타일 특징을 하나의 이미지에 융합할 수 있도록 지원하기 위해.

제안 방법

• 네트워크는 군집에서 세밀한 해상도까지의 다양한 해상도에서 스타일 이미지를 처리하는 계층적 아키텍처를 사용하여 다중 해상도 스타일 표현을 학습한다.
• 색상 및 밝기 채널에 특화된 손실과 함께 다중 해상도의 콘텐츠 및 스타일 재구성 손실을 사용하여 큰 스케일의 왜곡과 세밀한 질감을 모두 유지한다.
• 하나의 낮은 해상도 네트워크에서 추출한 특징을 사용하여 높은 해상도 네트워크를 초기화하는 점진적이고 다단계적인 훈련 과정을 통해 스케일 간의 종합적 학습을 가능하게 한다.
• 콘텐츠 표현을 위한 공통 특징 추출기가 사용되며, 별도의 스타일 인코더가 색상 및 밝기 채널을 독립적으로 처리한 후 융합된다.
• 목표 예술 스타일에 대한 충실도를 확보하기 위해 다중 해상도에서 콘텐츠 손실, 스타일 손실, 그리고 인지적 손실을 조합하여 오프라인으로 훈련한다.
• 최종 모델은 고해상도 이미지(예: 1024×1024)에서 실시간 추론이 가능한 단일 깊은 피드포워드 네트워크이다.

실험 결과

연구 질문

• RQ1 계층적 딥 러닝 아키텍처는 고해상도 예술적 스타일 전이에서 세밀한 브러시워크와 정확한 질감 척도를 유지할 수 있는가?
• RQ2 색상과 밝기 채널을 모두 포함한 접근 방식은 RGB 전용 접근 방식에 비해 시각적 정밀도를 향상시키는가?
• RQ3 다중 해상도 및 다중 손실 훈련 체계는 복잡한 예술 스타일을 더 잘 포착할 수 있는가, 기존의 단일 손실 피드포워드 네트워크를 능가하는가?
• RQ4 단일 네트워크를 통해 한 이미지가 한 스타일에서 유래한 거친 질감 왜곡과 다른 스타일에서 유래한 세밀한 브러시워크를 동시에 융합할 수 있는가?
• RQ5 증가한 깊이와 복잡성에도 불구하고 계층적이고 다중 모odal 네트워크는 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• 제안된 다중 모달 전이 네트워크는 최신의 단일 전이 네트워크보다 고해상도 이미지(1024×1024)에서 훨씬 뛰어난 시각적 품질을 달성했으며, 특히 세밀한 브러시워크와 정확한 질감 척도 유지에 뛰어난 성능을 보였다.
• 256×256 스타일 이미지로 훈련된 단일 전이 네트워크와 비교했을 때, 제안된 방법은 질감 척도 불일치 문제를 제거하여 더 정확하고 자연스러운 브러시워크를 생성했다.
• 1024×1024 이미지에서 테스트 시간이 0.54초였으며, 이는 깊이가 두 배 이상인 상황에서도 Johnson 등이 제안한 네트워크(0.42초)와 유사한 속도를 기록했다.
• 메모리 사용량은 3100 MB로, Johnson의 2400 MB보다 약간 높을 뿐이었으며, 저해상도 특징에서의 계층적 처리 덕분에 효율적인 계산이 가능함을 보여주었다.
• 이 방법은 다중 스타일 융합을 성공적으로 구현했으며, 한 이미지가 한 스타일에서 유래한 거친 질감 왜곡과 다른 스타일에서 유래한 세밀한 브러시워크를 동시에 흡수할 수 있었다. 이는 기존의 단일 전이 네트워크에서 지원되지 않았던 능력이다.
• 제거 실험을 통해 다중 해상도 손실과 다중 모달(색상 + 밝기) 감독의 조합이 큰 스케일과 정교한 스타일 세부 정보를 모두 포착하는 데 필수적임을 확인했다.