[논문 리뷰] Arbitrary Style Transfer with Deep Feature Reshuffle

Shuyang Gu, Congliang Chen외 2명|arXiv (Cornell University)|2018. 05. 10.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 글로벌 및 로컬 스타일 모델링을 통합하기 위해 딥 피처 리셔플링을 사용하는 새로운 신경 스타일 전이 방법을 제안한다. 이는 고품질이면서 의미적으로 일관된 스타일 전이를 가능하게 한다. 스타일 이미지의 피처를 콘텐츠에 따라 리셔플링하여 글로벌 외관의 정확성과 로컬 텍스처의 타당성을 동시에 확보한다. 이로 인해 기존의 파rametric 및 non-parametric 방법들보다 품질과 인지적 선호도에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper introduces a novel method by reshuffling deep features (i.e., permuting the spacial locations of a feature map) of the style image for arbitrary style transfer. We theoretically prove that our new style loss based on reshuffle connects both global and local style losses respectively used by most parametric and non-parametric neural style transfer methods. This simple idea can effectively address the challenging issues in existing style transfer methods. On one hand, it can avoid distortions in local style patterns, and allow semantic-level transfer, compared with neural parametric methods. On the other hand, it can preserve globally similar appearance to the style image, and avoid wash-out artifacts, compared with neural non-parametric methods. Based on the proposed loss, we also present a progressive feature-domain optimization approach. The experiments show that our method is widely applicable to various styles, and produces better quality than existing methods.

연구 동기 및 목표

• 기존 신경 스타일 전이 방법의 한계를 해결한다. 이는 파rametric 방법의 경우 로컬 텍스처 왜곡, non-parametric 방법의 경우 화이트아웃 아티팩트를 유발하기 때문이다.
• 글로벌 및 로컬 스타일 손실을 새로운 피처 리셔플링 메커니즘을 통해 연결함으로써 파rametric 및 non-parametric 접근법의 장점을 통합한다.
• 스타일 전이 품질을 향상시키고 계산 비용을 줄이기 위해 효율적이고 점진적인 피처 도메인 최적화 프레임워크를 개발한다.
• 글로벌 스타일 외관과 로컬 의미적 구조를 모두 잘 보존하는 바탕으로 임의의 스타일 전이를 가능하게 한다.

제안 방법

• 글로벌 및 로컬 스타일 일관성을 강제하기 위해 피처맵 위치를 공간적으로 재배열하는 딥 피처 리셔플링 기반의 새로운 스타일 손실을 제안한다.
• 이론적으로 피처 리셔플링이 그램 행렬 최적화와 동치임을 증명하여, 이 방법이 파rametric 스타일 전이와 연결됨을 보여준다.
• 고층에서 저층으로 피처를 복구하는 점진적이고 피라미드 기반의 피처 도메인 최적화 전략을 도입하며, 학습된 디코더를 사용해 이미지를 재구성한다.
• 반복을 제한하고 화이트아웃 아티팩트를 방지하기 위해 패치 사용 비율 파라미터 λ를 활용한 제약된 최근접 이웃(NEAREST NEIGHBOR, NN) 필드 검색을 적용한다.
• 일관된 스타일 수준을 확보하기 위해 α = 0.5와 β = 1.0을 사용하는 가중치 손실 함수를 통해 콘텐츠와 스타일을 균형 있게 조절한다.
• 이미지 도메인 대신 피처 도메인에서 에너지 함수를 최적화함으로써 효율성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 피처 리셔플링은 파라메트릭 및 비파라메트릭 신경 스타일 전이에서 사용되는 글로벌 및 로컬 스타일 모델링 목표를 통합할 수 있는가?
• RQ2 피처 도메인 최적화 전략은 이미지 도메인 최적화보다 더 높은 스타일 전이 품질을 달성하면서도 효율성을 유지할 수 있는가?
• RQ3 제안된 방법은 기존 최신 기술들보다 글로벌 외관과 로컬 의미적 구조를 더 잘 보존하는가?
• RQ4 리셔플링 제약 조건은 비파라메트릭 방법에서 반복적인 패치 샘플링으로 인한 화이트아웃 아티팩트를 줄일 수 있는가?
• RQ5 기존 신경 스타일 전이 접근법과 비교해 제안된 방법은 인지적 품질과 계산 비용 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 사용자 연구에서 평균 순위 점수 2.88을 기록하며 뛰어난 인지적 품질을 확보했으며, 비교된 모든 방법들을 능가했다.
• Gatys 등 [16] 및 Huang 등 [20]과 같은 파라메트릭 방법보다 로컬 텍스처 패턴과 의미 수준의 전이(예: 눈-눈, 입-입)를 더 잘 보존하는 것으로 나타났다.
• Liao 등 [32] 및 Li 등 [28]과 같은 비파라메트릭 방법에서 흔히 발생하는 화이트아웃 아티팩트를 피처 리셔플링 메커니즘에 의한 제약된 패치 사용 덕분에 피할 수 있었다.
• Liao 등 [32] (114초)와 유사한 속도를 기록했으며, Gatys 등 [16] (370초)보다는 빠르고, Li 등 [28] (195초)보다는 훨씬 더 빠르게 동작했다.
• 학습된 디코더를 활용한 점진적 피처 도메인 최적화는 이미지 도메인 최적화를 전부 수행할 필요 없이 효율적인 스타일 전이를 가능하게 했다.
• 공개 데이터셋 및 Ostagram 웹사이트에서 제공한 100개 이상의 이미지 쌍을 활용한 검증을 통해 다양한 콘텐츠-스타일 쌍에 대해 잘 일반화됨을 입증했다.