[논문 리뷰] Attention-aware Multi-stroke Style Transfer

Yuan Yao, Jianqiang Ren외 4명|arXiv (Cornell University)|2019. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 12

한 줄 요약

이 논문은 스타일에 의존하지 않는 오토인코더에 자기주의 주의(self-attention)를 통합하여 일관된 공간적 주의력과 영리한 다중 스트로크 융합을 갖춘 주의 인식 다중 스트로크 스타일 전이 모델을 제안한다. 다중 척도 스타일 교환과 주의 지도 융합을 활용하여 자동으로 공간적 스트로크 크기 제어를 가능하게 하며, 실시간 추론 성능을 유지하면서 최신 기법들과 비교해도 뛰어난 품질과 다양한 스타일 전이 결과를 생성한다.

ABSTRACT

Neural style transfer has drawn considerable attention from both academic and industrial field. Although visual effect and efficiency have been significantly improved, existing methods are unable to coordinate spatial distribution of visual attention between the content image and stylized image, or render diverse level of detail via different brush strokes. In this paper, we tackle these limitations by developing an attention-aware multi-stroke style transfer model. We first propose to assemble self-attention mechanism into a style-agnostic reconstruction autoencoder framework, from which the attention map of a content image can be derived. By performing multi-scale style swap on content features and style features, we produce multiple feature maps reflecting different stroke patterns. A flexible fusion strategy is further presented to incorporate the salient characteristics from the attention map, which allows integrating multiple stroke patterns into different spatial regions of the output image harmoniously. We demonstrate the effectiveness of our method, as well as generate comparable stylized images with multiple stroke patterns against the state-of-the-art methods.

연구 동기 및 목표

• 기존 스타일 전이 기법에서 콘텐츠 이미지와 스타일 전환 이미지 간의 공간적 주의력 일관성이 부족한 문제를 해결하기 위해.
• 다양한 영역에서 다른 수준의 세부 정보를 갖는 다중 스트로크 융합을 영리하게 가능하게 하기 위해.
• 수작업 마스크나 영역별 최적화 없이도 자동으로 공간적 스트로크 크기 제어를 가능하게 하기 위해.
• 다양한 스타일 전이를 지원하면서도 실시간 추론 속도를 유지하기 위해.

제안 방법

• 콘텐츠 이미지 내의 전역적이고 장거리 의존성을 학습하기 위해 스타일에 의존하지 않는 오토인코더의 버블넥트(bottleneck)에 자기주의 주의 메커니즘을 통합한다.
• 재구성 학습을 통해 콘텐츠 이미지에서 주의 맵을 유도하여 주목할 만하고 의미적으로 관련 있는 영역을 강조한다.
• 고수준 콘텐츠 특징을 다중 척도 스타일 특징으로 교환하여 다중 척도 스타일 스위칭을 수행하고, 고유한 스트로크 패턴 맵을 생성한다.
• 주의 맵을 공간적 가중치 맵으로 사용하여 영역별로 블렌딩되는 다수의 스트로크 패턴을 학습 가능한 융합 전략으로 조합한다.
• 스포크 크기의 공간 해상도를 자동으로 제어하기 위해 주의 필터에 가우시안 분산 파라미터를 사용한다.
• 피드포워드 네트워크 아키텍처를 사용하여 스트로크 수와 세부 수준을 제어할 수 있는 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘이 신경 스타일 전이에서 콘텐츠 이미지와 스타일 전환 이미지 간의 공간적 주의력 일관성을 향상시키는 데 기여하는가?
• RQ2 다른 영역에서 크기가 다른 다수의 스트로크 패턴을 어떻게 영역에 따라 영리하게 융합할 수 있는가?
• RQ3 수작업 마스크나 영역별 처리 없이도 스트로크 크기를 이미지의 주목도에 자동으로 적응시킬 수 있는가?
• RQ4 실시간 성능을 유지하면서 스트로크 수와 세부 수준의 다중 스트로크 융합 제어 범위는 어느 정도까지 가능한가?

주요 결과

• 제안된 방법은 주의력 일관성을 달성하여 콘텐츠 이미지와 공간적으로 정렬된 주목할 만한 영역을 스타일 전환 결과에 그대로 유지한다.
• 256×256 이미지 기준 평균 0.80초, 512×512 이미지 기준 0.94초로, Style-Swap를 능가하고 Avatar-Net과 유사한 속도를 기록한다.
• 모델은 자동으로 공간적 스트로크 크기 제어가 가능하다: 주목도가 높은 영역(예: 인체)에는 미세한 스트로크, 중간 주목도 영역(예: 산)에는 중간 크기의 스트로크, 낮은 주목도 영역(예: 하늘)에는 굵은 스트로크를 적용한다.
• 스트로크 수를 늘릴수록(최대 8개까지) 추론 시간은 제어된 선형 증가를 보이며(512×512 기준 0.92초에서 1.18초로 증가), 확장성이 뛰어나다.
• 주의 맵을 통해 영역별로 특화된 융합 가중치를 제공하여 다양한 스트로크 패턴을 빛의 왜곡 없이 조화롭게 통합할 수 있다.
• 모델는 다양한 시각적으로 타당한 스트로크 패턴을 갖춘 스타일 전환 이미지를 생성하며, AdaIN, WCT, Avatar-Net과 비교해도 시각적으로 유사한 결과를 낸다.