[논문 리뷰] ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows

Jie An, Siyu Huang외 4명|arXiv (Cornell University)|2021. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 61인용 수 21

한 줄 요약

ArtFlow는 손실 없는, 편향 없는 정방향 및 역방향 추론을 가능하게 하여 보편적 스타일 전이에서 콘텐츠 泄漏를 제거하는 가역 신경 플로우 기반 프레임워크를 제안한다. 기존의 오토에인코더 기반 특징 추출 방식을 학습 가능한, 가역적인 네트워크를 사용한 투영-전달-재구성 파이프라인으로 대체함으로써, 다중 스타일 전이 라운드 동안도 성능 저하 없이 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Universal style transfer retains styles from reference images in content images. While existing methods have achieved state-of-the-art style transfer performance, they are not aware of the content leak phenomenon that the image content may corrupt after several rounds of stylization process. In this paper, we propose ArtFlow to prevent content leak during universal style transfer. ArtFlow consists of reversible neural flows and an unbiased feature transfer module. It supports both forward and backward inferences and operates in a projection-transfer-reversion scheme. The forward inference projects input images into deep features, while the backward inference remaps deep features back to input images in a lossless and unbiased way. Extensive experiments demonstrate that ArtFlow achieves comparable performance to state-of-the-art style transfer methods while avoiding content leak.

연구 동기 및 목표

• 반복적인 스타일 전이 과정에서 콘텐츠 정밀도가 떨어지는 최신 보편적 스타일 전이 방법에서 발생하는 콘텐츠 泄漏 현상 해결
• 기존 방법에서의 콘텐츠 泄漏의 근본 원인 규명: 복원 오차 및 디코더 및 스타일 전이 모듈에서의 편향된 학습
• 공정한 비교 및 다중 라운드 스타일 전이에 대응하는 편향 없는 특징 추출 및 재구성 메커니즘 개발
• 정방향 및 역방향 추론 모두에서 가역 신경 플로우를 활용해 손실 없는 콘텐츠-스타일 분離 및 복원 구현
• SOTA 방법과 비교해 시각적 품질은 유사하게 유지하면서도 반복적 스타일 전이 과정에서의 콘텐츠 손상 없애기

제안 방법

• GLOW를 영감으로 삼아, 가역적인 $1\times1$ 컨벌루션, 활성화 정규화, 애피니티 커팅 레이어를 사용한 신경 플로우 기반의 투영 플로우 네트워크(PFN) 도입
• 투영-전달-재구성 파이프라인 구현: 정방향 추론에서 콘텐츠 및 스타일 이미지를 깊은 특징으로 투영하고, 편향 없는 스타일 전이를 수행한 후, 역방향 추론을 통해 손실 없는 이미지 재구성 수행
• PFN을 활용해 정방향 및 역방향 추론 모두를 가능하게 하여, 특징 추출 및 이미지 복원 과정에서 복원 오차 및 편향이 발생하지 않도록 보장
• 기존 방법들(예: AdaIN, WCT, Avatar-Net)의 VGG19 기반 오토에인코더를 PFN으로 대체함으로써, 스타일 전이 모듈의 아키텍처 변경 없이도 편향 없는 스타일 전이 구현
• 스타일 전이 모듈의 편향에 대한 이론적 및 실증적 분석 수행: Avatar-Net의 스타일 데코레이터는 스타일 측면에 편향되어 있는 반면, AdaIN과 WCT는 편향이 없는 것으로 규명됨
• 편향 없는 모듈들(AdaIN, WCT)을 PFN과 통합해 ArtFlow를 구성함으로써, 다중 스타일 전이 반복 과정에서 공정하고 안정적인 성능 확보

Figure 1: Content leak visualization. Existing style transfer methods are not effective to preserve image content after several rounds of stylization process as shown in (d), although their performance is state-of-the-art in the first round as shown in (c).

실험 결과

연구 질문

• RQ1 기존 보편적 스타일 전이 방법에서 반복적인 스타일 전이 과정에서 콘텐츠 泄漏가 발생하는 원인은 무엇인가?
• RQ2 가역적, 가역성 있는 신경 네트워크를 통해 특징 추출 및 이미지 복원 과정에서의 복원 오차 및 편향을 제거할 수 있는가?
• RQ3 제안된 PFN 기반 프레임워크는 다중 스타일 전이 라운드 동안 콘텐츠 정밀도 유지 측면에서 오토에인코더 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ4 AdaIN, WCT, Avatar-Net 중 어떤 스타일 전이 모듈이 본질적으로 편향이 없으며, 이는 ArtFlow 프레임워크에서 성능에 어떻게 영향을 미치는가?
• RQ5 ArtFlow는 SOTA 방법과 비교해 유사한 시각적 품질을 달성하면서도 콘텐츠 泄漏를 완전히 제거할 수 있는가?

주요 결과

• ArtFlow는 20라운드의 스타일 전이 후에도 콘텐츠 泄漏를 성공적으로 방지한다. 반면, 바닐라 AdaIN, WCT, Avatar-Net는 심각한 콘텐츠 정밀도 저하를 보인다.
• PFN 기반 프레임워크는 손실 없는, 편향 없는 이미지 재구성 가능함을 입증하였으며, AdaIN 및 WCT와 비교해 재구성된 콘텐츠 특징의 선명도와 정밀도가 뛰어나다.
• 사용자 연구 결과, ArtFlow는 799명 중 314표를 확보하여 모든 방법 중 최고 순위를 기록하였으며, 이는 시각적 품질이 SOTA 접근법과 유사하거나 뛰어나다는 것을 시사한다.
• 이론적 및 실증적 분석을 통해 AdaIN과 WCT 모듈는 편향이 없음을 확인하였고, Avatar-Net의 스타일 데코레이터는 스타일 측면에 편향되어 있어, PFN를 적용해도 지속적인 콘텐츠 泄漏가 발생하는 것으로 설명된다.
• ArtFlow+WCT는 다중 수준 스타일 전이가 제거되어 바닐라 WCT보다 빠르며, ArtFlow+AdaIN는 콘텐츠 泄漏를 방지하면서도 높은 성능 유지한다.
• ArtFlow를 통한 콘텐츠-스타일 분리로 더 깔끔하고 선명한 콘텐츠 표현이 가능해지며, 잔여 스타일 효과가 최소화되나, AdaIN 및 WCT는 잔여 스타일 영향을 유지한다.

Figure 2: A comparison between the auto-encoder based style transfer framework and the proposed ArtFlow framework.