[논문 리뷰] Style-Aware Normalized Loss for Improving Arbitrary Style Transfer

Jiaxin Cheng, Ayush Jaiswal외 3명|arXiv (Cornell University)|2021. 04. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 4

한 줄 요약

이 논문은 임의의 스타일 전이(ASP)에서 스타일 전이 능력의 불균형성(IST) 문제를 해결하기 위해 스타일 인식 정규화 손실을 제안한다. 이는 학습 중 스타일 손실에 동일한 가중치를 부여함으로써 모델이 이미지를 과도하게나 혹은 부족하게 스타일화하는 데 기인한다. 이론적 경계를 도출하고 스타일 인식 정규화를 도입함으로써, 네 개의 AST 모델을 통해 111% 상대적 향상된 위장률과 98% 높은 인간 선호도를 달성한다.

ABSTRACT

Neural Style Transfer (NST) has quickly evolved from single-style to infinite-style models, also known as Arbitrary Style Transfer (AST). Although appealing results have been widely reported in literature, our empirical studies on four well-known AST approaches (GoogleMagenta, AdaIN, LinearTransfer, and SANet) show that more than 50% of the time, AST stylized images are not acceptable to human users, typically due to under- or over-stylization. We systematically study the cause of this imbalanced style transferability (IST) and propose a simple yet effective solution to mitigate this issue. Our studies show that the IST issue is related to the conventional AST style loss, and reveal that the root cause is the equal weightage of training samples irrespective of the properties of their corresponding style images, which biases the model towards certain styles. Through investigation of the theoretical bounds of the AST style loss, we propose a new loss that largely overcomes IST. Theoretical analysis and experimental results validate the effectiveness of our loss, with over 80% relative improvement in style deception rate and 98% relatively higher preference in human evaluation.

연구 동기 및 목표

• 임의의 스타일 전이(ASP) 모델에서 불균형 스타일 전이 능력(IST)의 근본 원인을 규명하는 것.
• 다양한 스타일에 걸쳐 동일한 샘플별 손실 가중치가 특정 스타일 쪽으로 모델을 편향시킨다는 것을 규명하는 것.
• 스タイル별 특성에 기반해 학습 손실을 정규화하는 이론적으로 타당한 스타일 인식 손실 함수를 개발하는 것.
• 네 개의 최첨단 AST 모델을 대상으로 광범위한 벤치마킹과 인간 평가를 통해 새로운 손실을 검증하는 것.
• 손실 최적화와 인간이 느끼는 스타일화 품질 간의 일치를 향상시키는 것.

제안 방법

• 저자는 전통적인 그람 행렬 기반 스타일 손실의 이론적 경계를 분석하고, 다양한 스타일 특성 하에서의 기대값을 유도한다.
• 각 스타일 이미지의 내재적 특성에 기반해 샘플별 스타일 손실을 재가중하는 새로운 스타일 인식 정규화 손실을 제안한다. 이는 학습 중 기여도가 균형을 이루도록 보장한다.
• 스타일 이미지의 특징 통계에서 유도된 학습 또는 추정된 척도 인자로 각 샘플의 스타일 손실을 정규화한다.
• 기존 ASP 아키텍처에 수정 없이 통합 가능하므로 즉시 적용 가능한 개선이 가능하다.
• 이론적 분석 결과, 기존 손실과 달리 새로운 손실은 인간 인식과 정확히 상관관계가 있음을 확인했다.
• ImageNet 및 PBN/DTD 데이터셋을 대상으로 위장률과 인간 선호도 연구를 통해 방법을 평가했다.

Figure 2 : Distribution of classic Gram matrix-based style losses for four AST methods [ 14 , 19 , 29 , 37 ] . Smaller loss does not guarantee better style transfer (left two images) while high quality transferred images can have larger style losses (middle two images), with over-stylized images cou

실험 결과

연구 질문

• RQ1 최첨단 ASP 모델이 다양한 스타일에 걸쳐 일반화가 잘 되지 않는 이유는 무엇인가? 특히, 과도하거나 부족하게 스타일화된 출력을 내보내는가?
• RQ2 기존의 스타일 손실이 인간이 느끼는 스타일화 품질을 어떻게 반영하지 못하는가?
• RQ3 학습 중 다양한 스타일 이미지 간 스타일 전이 능력의 불균형성(IST)은 무엇에 기인하는가?
• RQ4 이론적으로 타당한 스타일 인식 정규화를 통해 스타일 손실을 조정하면 학습 균형과 출력 품질이 향상되는가?
• RQ5 제안된 손실은 위장률과 인간 선호도와 같은 여러 AST 모델 및 메트릭에서 효과적인가?

주요 결과

• 제안된 스타일 인식 정규화 손실은 테스트된 모든 ASP 모델에서 위장률이 111% 상승했으며, LinearTransfer는 최고로 111%의 향상을 기록했다.
• 인간 평가 결과, 새로운 손실로 스타일화된 이미지에 대해 55.9%가 선호되었으며, 이는 기존 손실 대비 98% 상대적 향상이다.
• 기존 손실과 달리 새로운 손실은 인간 인식과 정확히 상관관계가 있으며, 인간 평가 점수를 반영하지 못하는 기존 손실과는 대조된다.
• 이 방법은 ASP에서 과도 스타일화 및 부족 스타일화 문제를 효과적으로 완화하여, 모든 모델에서 불량 출력 비율을 50% 이하로 낮춘다.
• 이론적 분석을 통해 새로운 손실이 스타일별 특징 분포의 분산을 고려함으로써 진정된 스타일 전이 품질을 더 잘 반영함을 확인했다.
• 이 손실은 보편적으로 적용 가능하며, GoogleMagenta, AdaIN, LinearTransfer, SANet의 네 가지 다른 ASP 모델에서 성능 향상을 이룬다.

Figure 3 : Statistics of human perception of stylization quality as assessed in Study II.