[논문 리뷰] QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity

Siyu Huang, Jie An외 3명|arXiv (Cornell University)|2022. 12. 20.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

QuantArt는 실재 예술작품 분포의 군집 중심과 생성된 예술작품 잠재 특징을 정렬하기 위해 벡터 양자화를 사용함으로써 시각적 정밀도를 향상시키는 새로운 이미지 스타일 전이 프레임워크를 제안한다. 스타일 유도 주의 모듈을 통해 연속적이고 이산적인 잠재 표현을 융합함으로써 QuantArt는 뛰어난 시각적 정밀도를 달성하면서도 강력한 콘텐츠 및 스타일 유지 성능을 유도한다.

ABSTRACT

The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.

연구 동기 및 목표

• 기존 스타일 전이 방법들이 종종 실제 예술작품과 구분되지 않는 이미지를 생성하지 못하는 데 기인한 시각적 정밀도 부족 문제를 해결하기 위해.
• 스타일 유사도와 콘텐츠 유지와 수직인 새로운 평가 차원으로서의 시각적 정밀도를 정의하고 정량화하기 위해.
• 스타일화된 이미지에서 콘텐츠 유지, 스타일 유사도, 시각적 정밀도 간의 탄력적인 트레이드오프를 가능하게 하는 프레임워크를 개발하기 위해.
• 생성된 특징이 실재 예술작품 분포의 중심으로 향하도록 벡터 양자화를 활용하여 현실감을 향상시키기 위해.
• 연속적이고 양자화된 잠재 표현을 동시에 처리할 수 있는 이중 분기 아키텍처(연속적 및 양자화된)를 설계하여, 인지적 품질을 희생시키지 않은 채 제어 가능한 스타일 전이를 가능하게 하기 위해.

제안 방법

• 실재 예술작품 특징의 이산 군집 중심을 표현하기 위해 벡터 양자화를 통해 글로벌 예술작품 코드북을 학습하기 위해.
• 콘텐츠 및 스타일 특징에 대해 별도의 인코더를 사용하여 벡터 양자화를 적용함으로써 연속적 특징에서 이산 코드를 생성하기 위해.
• 스타일 코드를 스타일화된 특징 맵으로 전달하면서 콘텐츠 구조를 유지하기 위해 스타일 유도 주의(SGA) 모듈을 사용하기 위해.
• 복원 전에 스타일화된 특징을 예술작품 코드북을 기반으로 재양자화하여 실재 예술작품 분포와의 정렬을 보장하기 위해.
• 디코더 이전에 콘텐츠 특징과 함께 연속적 및 양자화된 스타일화된 특징을 융합하여 출력 품질에 대한 탄력적인 제어를 가능하게 하기 위해.
• 인지적 품질과 분포 일치를 최적화하기 위해 LPIPS, 그램 손실, FID 기반 감독을 조합한 하이브리드 손실을 사용하여 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 기존 스타일 전이 방법과 비교해 볼 때, 잠재 특징의 벡터 양자화가 생성된 스타일화된 이미지의 시각적 정밀도를 향상시키는가?
• RQ2 연속적 및 이산적 잠재 표현을 융합함으로써 콘텐츠 유지, 스타일 유사도, 시각적 현실감 간의 균형은 어떻게 영향을 받는가?
• RQ3 이미지 스타일 전이에서 높은 시각적 정밀도를 달성하기 위해 최적의 코드북 크기와 양자화 전략은 무엇인가?
• RQ4 제안된 QuantArt 프레임워크는 시각적 정밀도를 크게 향상시키는 동시에 강력한 스타일 유사도를 유지하는가?
• RQ5 모델은 인간의 인지 테스트에서 실제 예술작품과 구분되지 않는 스타일화된 이미지를 생성할 수 있는가?

주요 결과

• QuantArt는 테스트 세트에서 Fréchet Inception Distance(FID) 17.787을 기록하여 기준 모델들을 크게 앞서며 높은 시각적 정밀도를 나타낸다.
• 인간 인지 테스트에서 참가자들은 평균적으로 20문제 중 10.31번만 실제 예술작품을 정확히 식별했으며, 이는 무작위 추측 수준에 가까운 것으로, 생성된 이미지가 실재 예술작품과 거의 구분되지 않음을 입증한다.
• 절단 실험 결과, 스타일 유도 주의 모듈에서 양자화를 제거할 경우 FID가 17.787에서 18.757로 증가하여, 시각적 정밀도 향상에 양자화의 중요성을 확인한다.
• 코드 크기를 16×16로 설정할 경우 FID가 17.787로 최적의 성능을 기록하며, 더 작은(8×8) 또는 더 큰(32×32) 패치 크기는 성능 저하를 초래함으로써 스타일 전이에 최적의 패치 크기가 있음을 시사한다.
• SGA 모듈을 StyTR2 디코더 레이어로 대체할 경우 FID가 26.299로 상승하여, 제안된 SGA 설계가 고품질 출력 유지를 위해 핵심적임을 보여준다.
• 연속적 및 양자화 분기 간에 인코더를 공유할 경우 FID가 35.830로 급격히 증가하여, 표현 품질을 유지하기 위해 별도의 인코더가 필수적임을 입증한다.