[논문 리뷰] StyTr^2: Unbiased Image Style Transfer with Transformers

Yingying Deng, Fan Tang외 4명|arXiv (Cornell University)|2021. 05. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 7

한 줄 요약

StyTr^2는 콘텐츠와 스타일을 별도로 처리하는 인코더와 콘텐츠 인식 위치 인코딩을 사용하는 트랜스포머 기반 이미지 스타일 전이 방법을 제안한다. 이는 편향과 콘텐츠 泄漏를 줄이고, 장거리 의존성을 모델링함으로써 기존의 CNN 기반 및 플로우 기반 방법에 비해 더 일관되고 편향 없는 스타일 전이를 달성한다.

ABSTRACT

The goal of image style transfer is to render an image with artistic features guided by a style reference while maintaining the original content. Due to the locality and spatial invariance in CNNs, it is difficult to extract and maintain the global information of input images. Therefore, traditional neural style transfer methods are usually biased and content leak can be observed by running several times of the style transfer process with the same reference style image. To address this critical issue, we take long-range dependencies of input images into account for unbiased style transfer by proposing a transformer-based approach, namely StyTr^2. In contrast with visual transformers for other vision tasks, our StyTr^2 contains two different transformer encoders to generate domain-specific sequences for content and style, respectively. Following the encoders, a multi-layer transformer decoder is adopted to stylize the content sequence according to the style sequence. In addition, we analyze the deficiency of existing positional encoding methods and propose the content-aware positional encoding (CAPE) which is scale-invariant and more suitable for image style transfer task. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed StyTr^2 compared to state-of-the-art CNN-based and flow-based approaches.

연구 동기 및 목표

• CNN의 국소적 인도적 편향으로 인해 발생하는 신경망 기반 스타일 전이의 편향과 콘텐츠 泄루를 해결하기 위해.
• 더 정확한 스타일 전이를 위해 이미지 내 장거리 공간적 의존성을 모델링하기 위해.
• 스케일 불변성과 스타일 전이에 적합한 위치 인코딩 방법을 설계하기 위해.
• 동일한 스타일 참조로 여러 번 실행했을 때 스타일화된 이미지의 일관성과 품질을 향상시키기 위해.
• 정성적 및 정량적 평가에서 기존의 CNN 기반 및 플로우 기반 스타일 전이 방법을 능가하기 위해.

제안 방법

• StyTr^2는 입력 이미지에서 콘텐츠와 스타일에 대해 도메인 특화 시퀀스를 생성하기 위해 두 개의 별도된 트랜스포머 인코더를 사용한다.
• 다층 트랜스포머 디코더는 스타일 시퀀스를 기반으로 콘텐츠 시퀀스를 스타일화하며, 콘텐츠 및 스타일 표현 간의 크로스 어텐션 메커니즘을 가능하게 한다.
• 표준 위치 인코딩을 대체하기 위해 콘텐츠 인식 위치 인코딩(CAPE)을 도입하여 스케일 불변성과 스타일 전이 요구 사항에 더 잘 부합하는 인코딩을 제공한다.
• CAPE는 콘텐츠 특징에 기반해 공간적 위치를 적응적으로 인코딩하도록 설계되어, 구조적 세부 정보를 유지하는 데 모델의 능력을 향상시킨다.
• 콘텐츠 복원 및 스타일 복원 손실의 조합을 통해 엔드 투 엔드로 훈련하여 충실도와 스타일 전이의 균형을 이룬다.
• 자기 어텐션 메커니즘을 활용해 장거리 의존성을 포착함으로써 CNN의 국소적 수용장치의 한계를 극복한다.

실험 결과

연구 질문

• RQ1 CNN 기반 방법에 비해 트랜스포머 기반 아키텍처가 이미지 스타일 전이에서 편향과 콘텐츠 泄루를 줄일 수 있는가?
• RQ2 장거리 의존성을 모델링하면 스타일화된 출력의 일관성과 품질에 어떤 영향을 미치는가?
• RQ3 콘텐츠 인식 위치 인코딩(CAPE)이 스타일 전이 작업의 성능과 안정성에 기여하는가?
• RQ4 이중 인코더 트랜스포머 프레임워크가 기존의 플로우 기반 및 CNN 기반 스타일 전이 접근법을 능가할 수 있는가?
• RQ5 제안된 방법이 여러 추론 런에 걸쳐 스타일을 전달하면서 콘텐츠의 정합성을 어느 정도 유지하는가?

주요 결과

• StyTr^2는 CNN 기반 기준선에 비해 콘텐츠 泄루를 크게 줄여 동일한 스타일 참조로 여러 번 실행했을 때 더 일관된 스타일 전이를 달성한다.
• 제안된 콘텐츠 인식 위치 인코딩(CAPE)은 스케일 불변 표현 학습을 가능하게 하여 표준 사인파 및 학습된 위치 인코딩보다 성능을 뛰어나게 한다.
• 정성적 결과에서는 복잡한 장면과 장거리 구조를 포함한 경우에도 기존 방법보다 더 정교한 콘텐츠 세부 정보를 유지함을 보여준다.
• 정량적 평가에서는 최신의 CNN 기반 및 플로우 기반 접근법에 비해 FID 및 LPIPS 점수에서 열등함을 보여준다.
• 다양한 스타일 참조에서도 잡음과 예측 오류를 최소화하면서 높은 스타일 전이 품질을 유지하며 의미론적 콘텐츠를 보존한다.
• 제거 실험을 통해 이중 인코더 설계와 CAPE 모두 모델의 강건성과 성능 향상에 기여한다는 것이 확인되었다.