[논문 리뷰] Parameter-Free Style Projection for Arbitrary Style Transfer

Siyu Huang, Haoyi Xiong외 6명|arXiv (Cornell University)|2020. 03. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 5

한 줄 요약

이 논문은 콘텐츠 세부 정보를 유지하면서 스타일을 정확히 전달하는, 파라미터가 없고 빠르며 효과적인 특징 수준 변환 방법인 스타일 프로젝션을 제안한다. 콘텐츠 특징의 순위 순서에 따라 스타일 특징을 재정렬함으로써, 콘텐츠 보존과 스타일 전달 사이의 우수한 균형을 달성하며, AdaIN 및 WCT와 같은 기존 방법들보다 정성적, 정량적, 사용자 연구에서 모두 뛰어난 성능을 보이며 실시간 추론(1장당 0.068초)을 구현한다.

ABSTRACT

Arbitrary image style transfer is a challenging task which aims to stylize a content image conditioned on arbitrary style images. In this task the feature-level content-style transformation plays a vital role for proper fusion of features. Existing feature transformation algorithms often suffer from loss of content or style details, non-natural stroke patterns, and unstable training. To mitigate these issues, this paper proposes a new feature-level style transformation technique, named Style Projection, for parameter-free, fast, and effective content-style transformation. This paper further presents a real-time feed-forward model to leverage Style Projection for arbitrary image style transfer, which includes a regularization term for matching the semantics between input contents and stylized outputs. Extensive qualitative analysis, quantitative evaluation, and user study have demonstrated the effectiveness and efficiency of the proposed methods.

연구 동기 및 목표

• 기존 방법들이 콘텐츠 세부 정보를 상실하거나 비자연스러운 아티팩트를 유발하는 등, 임의의 이미지 스타일 전이에서 콘텐츠 보존과 스타일 전달의 균형을 맞추는 데 도전하는 문제를 해결한다.
• 단순히 1차 통계만 전달하는 정규화 기반 방법(예: AdaIN)과 화이트닝을 통해 콘텐츠 품질이 떨어지는 WCT 기반 방법의 한계를 극복한다.
• 콘텐츠와 스타일 특징을 더 자연스럽게 융합하는 데에 순서 통계를 활용하는 파라미터가 없고 빠르며 효과적인 특징 변환 기법을 개발한다.
• 스타일 프로젝션과 KL 발산 손실을 통합한 실시간 피드포워드 모델을 설계하여 입력 콘텐츠와 스타일 전이된 출력 간의 의미 일致성을 향상시킨다.
• 정량적 지표, 정성적 분석, 아블레이션 연구, 사용자 연구를 포함한 종합적인 평가를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 콘텐츠 특징의 순위 순서에 따라 스타일 특징을 재정렬함으로써 공간 구조와 텍스처 세부 정보를 유지하는 파라미터가 없는 특징 변환 기법인 스타일 프로젝션을 제안한다.
• 공간 차원(H×W)에 걸쳐 콘텐츠 및 스타일 특징 맵을 1차원 벡터로 변환한 후, 두 특징의 상대적 크기를 정렬하기 위한 인덱스를 계산한다.
• 콘텐츠 특징의 순위에 따라 정렬된 스타일 특징 벡터의 값을 재할당하여, 콘텐츠 특징에서 높은/낮은 활성화가 일어나는 위치에 해당하는 스타일 활성화가 정확히 배치되도록 보장한다.
• 재정렬된 특징 벡터를 원래 공간 차원으로 다시 형태로 변환하여 디코더 네트워크에서 스타일 전이된 이미지를 생성하는 데 사용한다.
• 콘텐츠 특징과 스타일 전이된 특징 간의 KL 발산 손실을 통합하여 의미 일치성을 정규화하고 구조적 정밀도를 향상시킨다.
• 스킵 연결을 포함한 피드포워드 인코더-디코더 아키텍처를 사용하여 재구성 품질을 더욱 향상시키고 세밀한 콘텐츠 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 파라미터가 없는 특징 변환 기법이 기존의 정규화 기반 또는 화이트닝 기반 방법보다 콘텐츠 보존과 스타일 전달 사이의 균형을 더 잘 달성할 수 있는가?
• RQ2 특징 융합에 순서 통계(예: 순위)를 활용하면, 단지 1차 통계에 의존하는 방법보다 더 자연스럽고 시각적으로 매력적인 스타일 전이 이미지를 만들어낼 수 있는가?
• RQ3 스타일 프로젝션처럼 단순하고 학습되지 않은 변환 방식이, 학습된 또는 최적화 기반 방법보다 속도와 시각적 품질 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 KL 발산 손실과 스킵 연결을 추가함으로써 의미 일치성과 시각적 정밀도가 얼마나 향상되는가?
• RQ5 사용자들은 스타일 프로젝션으로 생성된 스타일 전이 이미지의 품질을 최신 기술 대비 날카움, 스타일 정확도, 자연스러움 측면에서 어떻게 평가하는가?

주요 결과

• 스타일 프로젝션(Ours-1)은 최신 기술 수준의 성능을 달성하며, WCT보다 콘텐츠 세부 정보를 더 잘 보존하고 AdaIN보다 비자연스러운 스타일 스토리지가 적다.
• 전체 모델(SP+Skip+KL, Ours-2)은 인물 이미지에서 78.03%의 사용자 선호도 점수와 총합 65.53%를 기록하여, AdaIN과 스타일 프로젝션 단독보다 유의미하게 뛰어난 성능을 보였다.
• 이 방법은 1장당 0.068초로 작동하여 DFR와 같은 최적화 기반 방법(1장당 114초)보다 빠르며, 더 뛰어난 시각적 결과를 생성한다.
• 정량적 평가에서 SP+Skip+KL은 콘텐츠 손실(2.09)과 스타일 손실(2.58) 사이의 유리한 트레이드오프를 달성하여, AdaIN과 WCT 모두를 초월하는 성능을 보였다.
• 쌍별 비교에서 사용자 일致성은 인물 이미지에서 76.52%, 경관 이미지에서 68.94%를 기록하여, 사용자 간에 제안된 방법의 우월성에 대해 강한 일致성을 보였다.
• 아블레이션 연구 결과, 스킵 연결과 KL 발산 손실 둘 다 시각적 품질 향상과 의미 일치성 향상에 기여하는 것으로 확인되었다.