[논문 리뷰] Consistent Style Transfer

Xuan Luo, Zhen Han외 2명|arXiv (Cornell University)|2022. 01. 06.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 점진적 주의 메커니즘과 공간 인식 보간을 사용하여 콘텐츠 및 스타일 특징 다양체를 반복적으로 정렬하는 새로운 프레임워크인 점진적 주의성 다각형 정렬(PAMA)을 제안한다. 의미 영역 간의 대응을 점진적으로 개선하고 시각적 잡음을 줄임으로써 PAMA는 512px 이미지에서 101 FPS의 실시간 성능을 기록하며 최신 기술 수준의 스타일 전이 품질을 달성한다.

ABSTRACT

Recently, attentional arbitrary style transfer methods have been proposed to achieve fine-grained results, which manipulates the point-wise similarity between content and style features for stylization. However, the attention mechanism based on feature points ignores the feature multi-manifold distribution, where each feature manifold corresponds to a semantic region in the image. Consequently, a uniform content semantic region is rendered by highly different patterns from various style semantic regions, producing inconsistent stylization results with visual artifacts. We proposed the progressive attentional manifold alignment (PAMA) to alleviate this problem, which repeatedly applies attention operations and space-aware interpolations. The attention operation rearranges style features dynamically according to the spatial distribution of content features. This makes the content and style manifolds correspond on the feature map. Then the space-aware interpolation adaptively interpolates between the corresponding content and style manifolds to increase their similarity. By gradually aligning the content manifolds to style manifolds, the proposed PAMA achieves state-of-the-art performance while avoiding the inconsistency of semantic regions. Codes are available at https://github.com/computer-vision2022/PAMA.

연구 동기 및 목표

• 다른 영역에서 유래한 불일치하는 스타일 패atters로 인해 동일한 의미 영역이 왜곡되는 주의 기반 임의의 스타일 전이 방법에서의 일관성 없는 스타일 전이 문제를 해결한다.
• 의미 영역 전반에 걸쳐 다중 다양체 특징 분포를 포착하지 못하는 점별 주의 메커니즘의 한계를 극복한다.
• 의미 영역 간의 콘텐츠 및 스타일 특징 다양체 정렬을 통해 스타일 전이 출력의 구조적 일관성을 향상시킨다.
• 콘텐츠 구조를 유지하면서 최소한의 시각적 잡음을 유도하는 실시간으로 세밀한 스타일 전이를 가능하게 한다.
• 진동하는 손실 함수를 통해 점차 다양체 대응을 강화하는 다단계 학습 프레임워크를 설계한다.

제안 방법

• 콘텐츠 특징의 공간 분포에 따라 동적으로 스타일 특징을 재배치하는 반복적 주의 연산을 적용하여 관련된 콘텐츠 및 스타일 다양체를 정렬한다.
• 공간적 맥락을 활용해 관련된 콘텐츠 및 스타일 다양체를 적응적으로 융합하는 공간 인식 보간을 도입하여 구조적 세부 정보를 유지한다.
• 다중 단계의 다양체 정렬을 수행하며, 각 단계에서 콘텐츠 및 스타일 특징 다양체 간의 대응을 정밀하게 개선한다.
• 자기 유사성 손실, 색상 히스토그램 손실, REMD 손실, 모멘트 손실을 조합한 다단계 손실 함수를 사용하여 점진적 정렬을 유도한다.
• 이미지 복원 손실을 통해 공유된 특징 공간을 유지하여 학습 안정성과 정렬 정확도를 향상시킨다.
• 학습 가능한 주의 커널을 활용해 각 점의 유사성 맵을 계산하여 다양체 구조를 존중하면서 특징 변환을 이끌어내는 데 사용한다.

실험 결과

연구 질문

• RQ1 반복적 다양체 정렬이 콘텐츠 및 스타일 특징 간 의미 영역 간의 정렬을 향상시켜 임의의 스타일 전이의 일관성을 향상시킬 수 있는가?
• RQ2 특히 가장자리 및 균일한 영역에서 스타일 전이 과정 중 구조 보존을 공간 인식 보간이 향상시키는가?
• RQ3 단일 단계 또는 전역 정렬에 비해 점진적 다단계 정렬이 시각적 잡음을 줄이는 데 얼마나 효과적인가?
• RQ4 자기 유사성 손실과 색상 히스토그램 손실이 스타일 전이 출력의 일관성과 색상 충실도를 얼마나 잘 균형 잡는가?
• RQ5 제안된 프레임워크는 최신 기술 수준의 스타일 전이 품질을 유지하면서도 실시간 추론 성능를 달성할 수 있는가?

주요 결과

• PAMA는 Tesla V100 GPU를 사용하여 512px 이미지에서 101 FPS의 추론 속도를 기록하여 실시간 성능를 입증했다.
• 다단계 다양체 정렬 전략은 영역 간 일관성을 크게 향상시키며, 세 단계 정렬이 단일 또는 이중 단계 변형보다 눈에 띄게 균일한 결과를 생성한다.
• 공간 인식 보간은 가장자리 구조를 효과적으로 보존하고 특히 주목할 만한 영역 및 균일한 콘텐츠 영역에서 국소 왜곡을 줄인다.
• 자기 유사성 손실과 색상 히스토그램 손실의 균형 조절이 핵심이다: 높은 자기 유사성 손실은 구조적 일관성을 향상시키지만, 높은 색상 히스토그램 손실은 색상 충실도를 높이지만 색상 블록 잡음의 위험을 증가시킬 수 있다.
• 제거 실험을 통해 PAMA가 의미 일관성과 스타일 전이 품질을 유지하는 데 있어 단일 단계 정렬 및 전역 변환 방법보다 뛰어난 성능를 보였다.
• 유사한 다양체 간 일관된 특징 매핑을 보장함으로써, 천둥과 같은 균일한 영역에서 혼란스러운 스타일 전이 패tern을 감소시켰다.