[논문 리뷰] Improved Style Transfer by Respecting Inter-layer Correlations

Mao-Chuang Yeh, Shuai Tang|arXiv (Cornell University)|2018. 01. 05.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 크로스레이어 그램 행렬을 통해 크로스레이어 상관관계를 모델링함으로써 텍스처 및 장거리 패턴 전달을 향상시키는 새로운 스타일 전이 방법을 제안한다. 이는 전통적인 레이어 내 통계보다 우수한 성능을 보인다. 또한 경계 유지 향상과 하이퍼파rameter 제거를 통해 시각적 품질을 크게 향상시키는 다중 곱 손실 함수를 도입하여, 텍스처가 짙은 리프림이나 계층적 패턴과 같은 도전적인 스타일에서도 뛰어난 성능을 발휘한다.

ABSTRACT

A popular series of style transfer methods apply a style to a content image by controlling mean and covariance of values in early layers of a feature stack. This is insufficient for transferring styles that have strong structure across spatial scales like, e.g., textures where dots lie on long curves. This paper demonstrates that controlling inter-layer correlations yields visible improvements in style transfer methods. We achieve this control by computing cross-layer, rather than within-layer, gram matrices. We find that (a) cross-layer gram matrices are sufficient to control within-layer statistics. Inter-layer correlations improves style transfer and texture synthesis. The paper shows numerous examples on "hard" real style transfer problems (e.g. long scale and hierarchical patterns); (b) a fast approximate style transfer method can control cross-layer gram matrices; (c) we demonstrate that multiplicative, rather than additive style and content loss, results in very good style transfer. Multiplicative loss produces a visible emphasis on boundaries, and means that one hyper-parameter can be eliminated.

연구 동기 및 목표

• 기존의 스타일 전이 방법이 레이어 내 그램 행렬에만 의존하여 복잡한 스타일에서 장거리 구조적 일관성을 포착하지 못하는 한계를 해결하기 위해.
• 다른 네트워크 깊이의 특징 간 관계를 캡처하는 크로스레이어 상관관계가 스타일 전이 품질 향상에 기여하는지 조사하기 위해.
• 크로스레이어 그램 행렬이 콘텐츠 경계를 유지하는 것 외에도 계층적 및 장거리 패턴을 더 잘 전달할 수 있음을 입증하기 위해.
• 다중 곱 손실 함수가 경계 강조를 향상시키고 하이퍼파rameter 튜닝의 필요성을 줄일 수 있음을 보여주기 위해.

제안 방법

• 기존의 레이어 내 그램 행렬을 대체하여, 다양한 레이어(예: 초기 및 후기 레이어)의 특징 맵 간 상관관계를 계산하는 크로스레이어 그램 행렬을 도입한다.
• 크로스레이어 그램 행렬은 두 개의 다른 레이어에서 온 특징 맵의 외적 곱으로 계산되며, 이는 상위 척도 간 의존성을 캡처한다.
• 콘텐츠 손실과 스타일 손실을 덧셈 조합이 아닌 곱셈 조합으로 손실 함수를 재구성하여 구조적 경계 강조를 강화한다.
• 빠른 유니버설 스타일 전이(FUT)에 통합하여 다양한 콘텐츠 이미지에서 효율적이고 고품질의 스타일 전이를 가능하게 한다.
• VGG 기반의 특징 추출기를 사용하여 엔드 투 엔드로 학습하며, 콘텐츠와 크로스레이어 스타일 통계를 동시에 최적화한다.
• 크로스레이어 그램 행렬의 사용은 더 적은 제약 조건으로도 공간 일관성과 패턴 주파수 제어를 향상시킨다.

실험 결과

연구 질문

• RQ1 크로스레이어 그램 행렬은 기존의 레이어 내 그램 행렬에 비해 장거리 공간 일관성이 요구되는 스타일에서 스타일 전이 성능을 향상시킬 수 있는가?
• RQ2 레이어 간 상관관계를 모델링하면 콘텐츠 경계와 재료 리프림의 유지가 향상되는가?
• RQ3 다중 곱 손실 함수는 경계 강조를 향상시키고 스타일 전이에서 하이퍼파rameter 튜닝의 필요성을 줄일 수 있는가?
• RQ4 크로스레이어 그램 행렬의 성능은 스타일 이미지의 크기와 자르기 크기에 따라 어떻게 달라지는가?
• RQ5 크로스레이어 통계는 속도나 일반화 능력을 희생시키지 않고 유니버설 스타일 전이에 얼마나 기여하는가?

주요 결과

• 크로스레이어 그램 행렬은 레이어 내 통계가 구조적 일관성을 유지하지 못하는 어려운 스타일, 예를 들어 텍스처가 짙은 리프림이나 장거리 곡선 패턴에서 스타일 전이 성능을 크게 향상시킨다.
• 스틸 이미지에 복잡한 장거리 패턴이 포함되어 있어도, 기존 방법에 비해 뚜렷한 콘텐츠 경계(예: 탑, 배, 물체 윤곽선 등)를 더 효과적으로 유지한다.
• 크로스레이어 그램 행렬은 제약 조건이 적음에도 불구하고 레이어 내 행렬과 동일한 수준의 패턴 주파수 제어를 가능하게 하여 스타일 표현의 효율성을 높인다.
• 다중 곱 손실 함수는 경계의 가시성을 향상시키고 별도의 스타일 가중치 하이퍼파rameter가 필요 없게 하여 최적화를 단순화시킨다.
• 스타일 이미지를 더 큰 크기(예: 768×768)로 자를 경우, 크로스레이어 방법은 레이어 내 방법보다 원형 형태, 페인팅 스트로크 등의 장거리 구조적 요소를 더 적은 왜곡으로 유지한다.
• 빠른 유니버설 크로스레이어 스타일 전이(FCT)는 원래의 WCT 방법보다 시각적 품질에서 뛰어나며, 특히 날카운 하위형상과 재료 리프림의 유지에서 메서드의 확장성과 강건성을 입증한다.