[논문 리뷰] AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks

Kibeom Hong, Seogkyu Jeon외 7명|arXiv (Cornell University)|2023. 07. 19.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

AesPA-Net는 주목사용 기반 스타일 전이의 정확도를 향상시키기 위해 스타일 패턴의 반복성을 정량화하고 이를 전역 및 국소적 스타일 특징의 校정에 활용하는 새로운 미학 패턴 인식 스타일 전이 프레임워크를 제안한다. 이는 자기지도 재구성 작업과 패치 기반 스타일 손실을 통해 잡음과 기하학적 왜곡을 감소시키고 의미적 대응 관계를 향상시켜 다양한 예술 스타일에서 스타일 충실도와 콘텐츠 유지 능력 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To deliver the artistic expression of the target style, recent studies exploit the attention mechanism owing to its ability to map the local patches of the style image to the corresponding patches of the content image. However, because of the low semantic correspondence between arbitrary content and artworks, the attention module repeatedly abuses specific local patches from the style image, resulting in disharmonious and evident repetitive artifacts. To overcome this limitation and accomplish impeccable artistic style transfer, we focus on enhancing the attention mechanism and capturing the rhythm of patterns that organize the style. In this paper, we introduce a novel metric, namely pattern repeatability, that quantifies the repetition of patterns in the style image. Based on the pattern repeatability, we propose Aesthetic Pattern-Aware style transfer Networks (AesPA-Net) that discover the sweet spot of local and global style expressions. In addition, we propose a novel self-supervisory task to encourage the attention mechanism to learn precise and meaningful semantic correspondence. Lastly, we introduce the patch-wise style loss to transfer the elaborate rhythm of local patterns. Through qualitative and quantitative evaluations, we verify the reliability of the proposed pattern repeatability that aligns with human perception, and demonstrate the superiority of the proposed framework.

연구 동기 및 목표

• 스타일 이미지에서 주목사용 기반 스타일 전이가 반복적인 패턴이 집중된 국소 영역에만 반복적으로 초점을 맞춰 비조화로운 잡음이 발생하는 문제를 해결하기 위해.
• 새로운 지표인 패턴 반복성(Pattern Repeatability)을 도입하여 스타일 이미지 내 국소 패턴의 리듬과 반복성을 정량화하기 위해.
• 패턴 반복성을 기반으로 전역 및 국소적 스타일 표현을 균형 있게 조정하는 통합 프레임워크를 설계하여 보다 정확하고 예술적인 스타일 전이를 실현하기 위해.
• 주목사용 모듈의 학습을 향상시키기 위해, 더 넓은 의미적 대응 관계를 학습하도록 유도하는 자기지도 재구성 작업을 도입하기 위해.
• 표준 스타일 손실을 패턴 반복성으로 도출된 최적의 패치 크기 기반의 패치 기반 손실로 대체하여 스타일 전이의 정밀도를 향상시키기 위해.

제안 방법

• 스타일 이미지 내 국소 패턴의 반복 빈도를 정량화하기 위해, 패치 간 유사도 대비 이미지 내 전체 패치 간 유사도 비율로 정의된 새로운 지표인 패턴 반복성(Pattern Repeatability)을 제안한다.
• 패턴 반복성 점수를 게이트로 사용하여 주목사용 기반 모듈과 전역 통계 기반 모듈의 특징을 적응적으로 융합하는 스타일 전이 트랜스포머를 설계한다.
• 증강된 입력과 원본 입력 간의 특징 수준 유사도를 최대화하는 자기지도 재구성 작업을 도입하여 주목사용 모듈이 더 의미 있고 광범위한 의미적 대응 관계를 학습하도록 유도한다.
• 표준 그람 행렬 기반 스타일 손실을 패턴 반복성으로 확인된 최소 반복 단위에 기반한 패치 크기로 계산된 패치 기반 스타일 손실로 대체한다.
• 최소 반복 패치(표기: $\bar{I}^s_m$)를 사용하여 전역적인 스타일 리듬을 유지하는 단위 스타일 표현 $\mathcal{G}(\phi_l(\bar{I}^s_m))$ 을 계산한다.
• 다중 해상도 특징 매칭 전략을 활용하여 다수의 레이어에서의 콘텐츠 및 스타일 특징을 통합함으로써 콘텐츠 유지 능력을 유지하면서도 스타일 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 패턴 반복성은 인간의 미학적 반복 인지와 일치하는 바, 예술 스타일의 전역적 리듬을 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ2 패턴 반복성을 활용한 주목사용 기반 및 전역 통계 기반 스타일 전이의 보정은 스타일 전이의 품질과 다양성을 어떻게 향상시키는가?
• RQ3 자기지도 재구성 작업은 주목사용 모듈이 임의의 콘텐츠-스타일 쌍 간에 의미 있는 의미적 대응 관계를 학습하는 데 얼마나 기여하는가?
• RQ4 최소 반복 단위에 기반한 패치 기반 스타일 손실은 브러시 스토크나 줄무늬와 같은 세밀한 질감 패턴의 전달을 향상시키고 환영 현상(Hallucinations)을 감소시키는가?
• RQ5 제안된 프레임워크는 정량적 및 정성적 평가 모두에서 최신 기술 수준의 주목사용 기반 및 전역 통계 기반 방법을 초월하는가?

주요 결과

• AesPA-Net는 스타일 손실 및 콘텐츠 유지도 지표에서 다섯 개의 주목사용 기반 방법과 두 개의 전역 통계 기반 방법을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 제안된 패턴 반복성 지표는 사용자 연구 및 인지 품질과의 정량적 일치를 통해 인간의 인지와 강한 상관관계를 보이며 신뢰할 수 있음을 입증한다.
• 기준 이미지와 스타일 전이된 이미지 간의 패턴 반복성 간 L1 거리가 AesPA-Net에서 최소화되어 전역적 스타일 리듬의 정확한 전달이 이루어졌음을 시사한다.
• 제거 실험 결과 각 구성 요소—자기지도 재구성 작업, 스타일 전이 트랜스포머, 패치 기반 스타일 손실—이 잡음 감소 및 질감 충실도 향상에 기여하는 것으로 확인되었다.
• 512×512 해상도에서 AesPA-Net는 최신 기술 수준의 방법과 유사한 경쟁적인 추론 속도를 유지하여 실시간 스타일 전이의 실용적 적용을 가능하게 한다.
• 정성적 결과는 복잡한 패턴(예: 포인티즘, 연필 스케치, 줄무늬 질감 등)을 포함한 다양한 스타일에 걸쳐 일관되고 잡음 없는 스타일 전이를 보이며, 이는 이전 방법이 실패하는 경우에도 성립한다.