[논문 리뷰] Arbitrary Style Transfer via Multi-Adaptation Network

Yingying Deng, Fan Tang외 4명|arXiv (Cornell University)|2020. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 10

한 줄 요약

이 논문은 자기주의 주의 메커니즘과 공적응 모듈을 사용하여 콘텐츠 및 스타일 표현을 분리하고, 콘텐츠 구조에 따라 스타일 분포를 정렬함으로써 임의의 스타일 전이를 위한 다중적응 네트워크(MAN)를 제안한다. 이 방법은 세밀한 콘텐츠 세부 정보를 유지하면서 풍부하고 생생한 스타일 패턴을 전이함으로써 최신 기술 수준의 성능을 달성하며, 콘텐츠 및 스타일 요소에 대한 분류 정확도 향상과 함께 정성적·정량적 평가를 통해 검증된다.

ABSTRACT

Arbitrary style transfer is a significant topic with research value and application prospect. A desired style transfer, given a content image and referenced style painting, would render the content image with the color tone and vivid stroke patterns of the style painting while synchronously maintaining the detailed content structure information. Style transfer approaches would initially learn content and style representations of the content and style references and then generate the stylized images guided by these representations. In this paper, we propose the multi-adaptation network which involves two self-adaptation (SA) modules and one co-adaptation (CA) module: the SA modules adaptively disentangle the content and style representations, i.e., content SA module uses position-wise self-attention to enhance content representation and style SA module uses channel-wise self-attention to enhance style representation; the CA module rearranges the distribution of style representation based on content representation distribution by calculating the local similarity between the disentangled content and style features in a non-local fashion. Moreover, a new disentanglement loss function enables our network to extract main style patterns and exact content structures to adapt to various input images, respectively. Various qualitative and quantitative experiments demonstrate that the proposed multi-adaptation network leads to better results than the state-of-the-art style transfer methods.

연구 동기 및 목표

• 임의의 스타일 전이에서 세밀한 콘텐츠 구조를 유지하면서도 풍부하고 다양한 스타일 패턴을 전이하는 데 도전하는 것.
• 특히 큰 도메인 이동 상황에서 콘텐츠와 스타일 표현을 효과적으로 분리하지 못하는 기존 방법들을 개선하는 것.
• 조절 가능한 스타일 가중치와 다중 스타일 보간을 통해 제어 가능한 스타일 전이를 가능하게 하는 유연한 프레임워크를 개발하는 것.
• 콘텐츠 특징로부터의 스타일 독립성을 제약하는 새로운 손실 함수를 사용하여 특징 분리도 향상시키는 것.
• 콘텐츠 유지와 스타일의 생생함 사이에 균형을 이룬 고품질의 스타일 전환 이미지를 생성하고, 분류 및 사용자 연구를 통해 검증하는 것.

제안 방법

• 콘텐츠 표현을 향상시키기 위한 위치 기반 자기주의 주의 모듈과 스타일 표현을 개선하기 위한 채널 기반 자기주의 주의 모듈을 도입한다.
• 분리된 콘텐츠 및 스타일 특징 간의 국소적이지 않은 장거리 유사도를 계산하여 스타일 패턴을 콘텐츠 구조에 따라 재분배하는 공적응(CA) 모듈을 활용한다.
• 스타일 특징가 콘텐츠 특징에 영향을 받지 않도록 유도하는 분리 손실 함수를 설계하여 특징 분리도 향상시킨다.
• 콘텐츠 및 스타일 이미지 특징 추출을 위한 공유 인코더를 갖춘 피드포워드 네트워크를 사용하고, 이후 SA 및 CA 모듈을 통한 적응형 조절을 수행한다.
• 심층층(예: conv5_1)의 특징을 사용하는 다중 척도 특징 융합 전략을 적용하여 수용 영역과 국소 패턴 전이를 향상시킨다.
• 가중치 조합 함수를 통해 스타일 보간 및 조절 가능한 스타일 강도를 구현한다: $ I_{cs} = \mathcal{D}(\alpha f_{cs} + (1-\alpha)f_c) $.

실험 결과

연구 질문

• RQ1 통합 네트워크 아키텍처가 임의의 스타일 전이를 위한 콘텐츠 및 스타일 표현을 효과적으로 분리할 수 있는가?
• RQ2 공적응 모듈이 콘텐츠 구조에 따라 스타일 분포를 정렬함으로써 스타일 전이 품질을 어떻게 향상시키는가?
• RQ3 제안된 분리 손실 함수가 콘텐츠 및 스타일 특징의 분리도를 어느 정도 향상시키는가?
• RQ4 합성곱층의 수용 영역 크기가 전반적인 콘텐츠 구조 유지와 국소 스타일 패턴 전이에 어떻게 영향을 미치는가?
• RQ5 모델이 스타일 보간 및 조절 가능한 스타일 강도와 같은 다양한 응용을 지원할 수 있는가?

주요 결과

• 제안된 방법은 콘텐츠 분류 정확도 34.6%와 스타일 분류 정확도 62.9%를 달성하여 콘텐츠와 스타일 유지 간 균형 잡힌 무게를 보여준다.
• 분리 손실을 사용함으로써 모델은 예를 들어_PURPLE FEATHERS_와 같은 핵심 스타일 패턴과 두드러진 콘텐츠 구조를 성공적으로 유지함을 정성적 비교를 통해 입증한다.
• 더 큰 수용 영역(예: conv5_1 또는 3×3 커널)을 사용할 경우 국소 패턴에 과도하게 초점이 맞춰지고 전반적인 콘텐츠 구조가 왜곡됨을 보여주며, 이는 수용 영역 제어의 중요성을 입증한다.
• 정성적 결과와 정량적 지표(사용자 연구 및 분류 정확도 포함) 모두에서 최신 기술 수준의 방법들을 능가하는 성능을 보인다.
• 스티르 보간 및 파rameter $\alpha$를 통한 조절 가능한 스타일 강도를 통해 다양한 스타일 강도를 가진 스타일 전환 이미지를 영리하게 생성할 수 있다.
• 제거 분석을 통해 분리 손실이 특징 분리도를 크게 향상시켜 보다 일관되고 현실적인 스타일 전환 출력을 이끌어낸다는 것이 확인되었다.