[논문 리뷰] CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer

Zijie Wu, Zhu Zhen외 2명|arXiv (Cornell University)|2022. 07. 11.

Image Enhancement Techniques인용 수 11

한 줄 요약

이 논문은 대비적 일致성 유지 손실(Contrastive Coherence Preserving Loss, CCPL)을 제안하며, 비디오 스타일 전이에서 시간적 일관성을 향상시키기 위해 프레임 간 국소 패치 수준의 특징 차이를 유지함으로써, 비디오 학습 데이터가 없이도 효과적으로 작동하는 대비적 학습 기반의 새로운 손실을 개발한다. CCPL은 예술적, 사진처럼 사실적인, 그리고 비디오 스타일 전이 모두에서 시각적 품질과 일관성을 향상시키며, 기존 네트워크와 호환되며 이미지 간 번역에 적용 가능하다.

ABSTRACT

In this paper, we aim to devise a universally versatile style transfer method capable of performing artistic, photo-realistic, and video style transfer jointly, without seeing videos during training. Previous single-frame methods assume a strong constraint on the whole image to maintain temporal consistency, which could be violated in many cases. Instead, we make a mild and reasonable assumption that global inconsistency is dominated by local inconsistencies and devise a generic Contrastive Coherence Preserving Loss (CCPL) applied to local patches. CCPL can preserve the coherence of the content source during style transfer without degrading stylization. Moreover, it owns a neighbor-regulating mechanism, resulting in a vast reduction of local distortions and considerable visual quality improvement. Aside from its superior performance on versatile style transfer, it can be easily extended to other tasks, such as image-to-image translation. Besides, to better fuse content and style features, we propose Simple Covariance Transformation (SCT) to effectively align second-order statistics of the content feature with the style feature. Experiments demonstrate the effectiveness of the resulting model for versatile style transfer, when armed with CCPL.

연구 동기 및 목표

• 단일 프레임 이미지로만 훈련할 때 비디오 스타일 전이에서 시간적 일관성의 문제를 해결하기 위해.
• 광학 흐름이나 명시적 비디오 감독 없이도 스타일화된 비디오 출력에서 깜빡임과 국소 왜곡을 줄이기 위해.
• 경량이며 아키텍처에 종속되지 않는 손실을 개발하여 다양한 스타일 전이 작업에서 시각적 품질과 시간적 일관성을 동시에 향상시키기 위해.
• 기존의 이미지 간 번역 및 스타일 전이 모델에 최소한의 수정으로 효과적으로 적용할 수 있도록 하기 위해.
• 학습 가능한 손실 가중치 메커니즘을 통해 스타일 전이 품질과 시간적 일관성의 균형을 맞추기 위해.

제안 방법

• 국소 패치 간 차이를 콘텐츠 이미지와 스타일화된 이미지 간의 특징 수준 표현으로 정의하여 국소 운동 일관성을 캡처하기 위해.
• InfoNCE 손실을 사용하여 동일한 공간적 위치의 프레임 간 양성 쌍(positive pairs) 간 상호정보량을 최대화하고, 부정 쌍(negative pairs) 간에는 최소화하기 위해 대비 학습을 적용하기 위해.
• 각 패치를 그 주변 패치 기반으로 제약하는 이웃 조절 메커니즘을 도입하여 국소 왜곡을 줄이기 위해.
• 학습 안정성 향상과 일반화 능력 향상을 위해 각 레이어에서 다수의 부정 패치 차이를 샘플링하기 위해.
• 기존의 스타일 전이 네트워크에 플러그인 손실로 통합하여 단일 이미지로 훈련하면서도 비디오로 일반화 가능한 성능을 달성하기 위해.
• 콘텐츠 및 스타일 특징의 이阶 통계를 보다 잘 통합하기 위해 단순 공분산 변환(Simple Covariance Transformation, SCT)을 제안하기 위해.

실험 결과

연구 질문

• RQ1 비디오 학습 데이터 없이도 국소 패치 차이에 대한 대비 손실이 비디오 스타일 전이에서 시간적 일관성을 효과적으로 유지할 수 있는가?
• RQ2 CCPL의 이웃 조절 메커니즘이 국소 왜곡을 어떻게 줄이고 시각적 품질을 향상시키는가?
• RQ3 일관성과 스타일 전이의 균형을 맞추기 위해, 레이어 수, 샘플링된 벡터 수, 손실 가중치의 최적 설정은 무엇인가?
• RQ4 기본 아키텍처 외의 다른 이미지 간 번역 및 스타일 전이 모델로 CCPL을 효과적으로 전이할 수 있는가?
• RQ5 CCPL은 예술적, 사진처럼 사실적인, 비디오 스타일 전이를 포함한 다양한 스타일 전이 작업에서 스타일 전이 품질을 손상시키지 않고 성능을 향상시키는가?

주요 결과

• CCPL은 단일 이미지로만 훈련하더라도 비디오 스타일 전이의 시간적 일관성을 크게 향상시켜 깜빡임과 불일치를 줄인다.
• 단일 12GB Titan XP GPU에서 256×256 해상도에서 77.0 FPS의 추론 속도를 기록하여 이전 방법들보다 빠르고 품질이 뛰어나다.
• 절단 실험 결과, 3개 레이어에 각 레이어당 64개의 샘플링된 벡터를 적용하고 손실 가중치 비율을 0.5로 설정할 경우 일관성과 스타일 전이의 최적 균형을 이룬다.
• AdaIN, SANet, Linear 네트워크에 적용했을 때 CCPL은 시간적 일관성을 향상시키며 SIFID 점수는 약간 감소하는 것으로 나타나, 일반화 능력을 입증한다.
• CUT에 적용했을 때 CCPL은 시각적 품질과 일관성을 모두 향상시켜 이미지 간 번역 성능을 향상시키며, 넓은 적용 가능성을 확인한다.
• CCPL의 이웃 조절 메커니즘은 국소 왜곡을 줄여 기존 방법보다 더 선명하고 일관성 있는 출력을 제공한다.