[논문 리뷰] Quantitative Evaluation of Style Transfer

Mao-Chuang Yeh, Shuai Tang외 2명|arXiv (Cornell University)|2018. 03. 31.

Image Enhancement Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 스타일 전이의 정량적 평가 프레임워크를 제안하며, 효과성(스타일 충실도)과 일관성(객체 구조 유지)을 측정하는 EC 플롯을 사용한다. 교차층 그램 행렬 제어가 기존의 내층 방법보다 우수하며, 특히 강한 스타일 가중치를 적용할 경우 대칭성에 기인한 불안정성이 감소하기 때문에 성능이 뛰어나다. 인간 선호도 연구를 통해 이 측정치의 예측 능력이 입증된다.

ABSTRACT

Style transfer methods produce a transferred image which is a rendering of a content image in the manner of a style image. There is a rich literature of variant methods. However, evaluation procedures are qualitative, mostly involving user studies. We describe a novel quantitative evaluation procedure. One plots effectiveness (a measure of the extent to which the style was transferred) against coherence (a measure of the extent to which the transferred image decomposes into objects in the same way that the content image does) to obtain an EC plot. We construct EC plots comparing a number of recent style transfer methods. Most methods control within-layer gram matrices, but we also investigate a method that controls cross-layer gram matrices. These EC plots reveal a number of intriguing properties of recent style transfer methods. The style used has a strong effect on the outcome, for all methods. Using large style weights does not necessarily improve effectiveness, and can produce worse results. Cross-layer gram matrices easily beat all other methods, but some styles remain difficult for all methods. Ensemble methods show real promise. It is likely that, for current methods, each style requires a different choice of weights to obtain the best results, so that automated weight setting methods are desirable. Finally, we show evidence comparing our EC evaluations to human evaluations.

연구 동기 및 목표

• 스타일 전이 방법에 대한 표준화되고 정량적인 평가 프로토콜의 부족을 해결하기 위해.
• 스타일 충실도(효과성)와 구조적 유지(일관성)를 모두 반영하는 메트릭 기반 프레임워크를 개발하기 위해.
• 딥 페처 통계에 기반한 새로운 재현 가능한 평가 프로토콜을 사용해 최근의 스타일 전이 방법들을 비교하기 위해.
• 스타일 손실 함수의 대칭성이 전이 품질과 안정성에 미치는 영향을 조사하기 위해.
• 인간 인지와의 일치를 위해 아마존 메카니컬 터크를 통한 사용자 연구를 통해 제안된 평가 메트릭을 검증하기 위해.

제안 방법

• 저자는 두 가지 핵심 메트릭을 정의한다: 효과성(E), 스타일 이미지와 스타일 전이된 이미지 간의 특징 분포 간의 분산을 측정하며, 일관성(C), BSDS500 데이터셋을 사용해 콘텐츠 이미지의 객체 세그먼트와의 일치도를 측정한다.
• 효과성은 여러 합성곱 레이어에서 스타일 전이된 이미지와 스타일 이미지 간의 특징 분포 간의 분산을 통해 계산된다.
• 일관성은 콘텐츠 이미지와 스타일 전이된 이미지 간의 세그먼트 수준 분산을 측정하며, 새로운 세그먼트 분산 메트릭을 제안한다.
• EC 플롯은 여러 콘텐츠-스타일 쌍에 대해 E와 C를 플로팅하여 메서드 간의 시각적 및 정량적 비교를 가능하게 한다.
• 논문은 가티스의 방법과 교차층 스타일 손실의 대칭군을 분석하며, 특징 재스케일링과 평균 이동을 允허하는 더 큰 대칭군이 불안정성과 관련이 있음을 연결한다.
• 사용자 연구는 아마존 메카니컬 터크를 통해 실시되며, 마스터 및 일반 워커를 모두 활용해 EC 점수와 인간 선호도 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 콘텐츠와 스타일 쌍에 걸쳐, 다양한 스타일 전이 방법이 스타일 충실도와 구조적 일관성 측면에서 어떻게 비교되는가?
• RQ2 그램 행렬의 선택(내층 대비 교차층)이 스타일 전이의 정량적 성능에 어떤 영향을 미치는가?
• RQ3 스타일 손실 함수의 대칭성 특성이 스타일 전이 출력의 안정성과 품질에 어떤 영향을 미치는가?
• RQ4 EC 플롯 메트릭은 인간의 선호도를 예측할 수 있는가?
• RQ5 강한 스타일 가중치 적용은 일관되게 성능을 향상시키는가, 아니면 불안정성으로 인해 성능이 악화되는가?

주요 결과

• 교차층 그램 행렬 제어는 강한 스타일 가중치 조건에서도 가티스의 내층 방법보다 효과성과 일관성 측면에서 뚜렷이 뛰어나다.
• EC 플롯은 가티스의 방법이 더 큰 대칭군으로 인해 특징 재스케일링과 평균 이동을 허용함으로써 불안정성을 겪으며, 이는 스타일 충실도(E가 낮아짐)와 일관성(C가 낮아짐)을 악화시킴을 드러낸다.
• 강한 스타일 가중치 적용은 가티스의 방법에서 효과성과 일관성을 떨어뜨리지만, 교차층 방법은 제한된 대칭군 덕분에 이 현상이 나타나지 않는다.
• 인간 선호도 연구 결과, 마스터 워커의 선택은 높은 E와 C 값을 강하게 예측하며, 높은 점수를 확보한 교차층 방법이 선호됨을 보였다.
• 일반 워커의 선호도 역시 높은 C 값과 ACG(교차층) 방법의 높은 E 값을 기반으로 예측 가능하며, E와 C를 사용한 로지스틱 회귀 모델의 교차검증 AUC는 약 0.85였다.
• 본 연구는 교차층 방법의 향상된 성능이 그들의 고유한 대칭군 구조와 직접적으로 관련이 있으며, 이는 가티스 방법의 불안정성을 피하는 데 기인함을 실험적으로 입증한다.