[논문 리뷰] Neural Neighbor Style Transfer

Nicholas Kolkin, Michal Kučera외 4명|arXiv (Cornell University)|2022. 03. 24.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

Neural Neighbor Style Transfer (NNST)는 콘텐츠 특징을 코사인 거리와 특징 벡터 매칭을 사용해 가장 가까운 이웃 스타일 특징로 대체함으로써 예술적 스타일 전이의 시각적 품질을 향상시킨다. 이는 최신 기술 수준(SOTA)의 시각적 품질을 달성한다. NNST는 두 가지 변형을 제공한다: NNST-D(빠른 피드포워드)와 NNST-Opt(최적화 기반)로, 모두 지침이나 정렬된 예시가 필요 없이도 충실도, 다양성, 일반화 능력에서 이전 방법들을 능가한다.

ABSTRACT

We propose Neural Neighbor Style Transfer (NNST), a pipeline that offers state-of-the-art quality, generalization, and competitive efficiency for artistic style transfer. Our approach is based on explicitly replacing neural features extracted from the content input (to be stylized) with those from a style exemplar, then synthesizing the final output based on these rearranged features. While the spirit of our approach is similar to prior work, we show that our design decisions dramatically improve the final visual quality.

연구 동기 및 목표

• 특징 기반 스타일 전이와 페치 기반 스타일 전이 간의 시각적 품질 격차를 해소하기 위해 특징 기반 스타일 전이를 향상시키기.
• 스타일 전이에서 수동 또는 자동 지침이 필요 없도록 하면서도 브러시스트로크와 같은 세밀한 스타일 디테일을 유지하기.
• 도메인 특화 정렬이 필요 없이 다양한 콘텐츠 및 스타일 이미지에 대해 일반화 가능한 고품질의 스타일 전이 달성하기.
• 새로운 특징 매칭 및 사전처리 기법을 통해 콘텐츠 보존, 스타일 충실도, 시각적 다양성의 균형을 이루기.

제안 방법

• 콘텐츠 이미지의 신경망 특징을 특징 공간에서 코사인 거리 기반으로 가장 가까운 이웃 스타일 특징으로 대체한다.
• 콘텐츠 및 스타일 특징에 모두 0-중심화를 적용하여 매칭의 안정성과 품질을 향상시킨다.
• 패치 수준이 아닌 개별 벡터 수준의 매칭을 반복적으로 수행함으로써 국소적 디테일 보존을 향상시킨다.
• 다중 해상도 처리를 수행하고 최소 해상도에서 반복적인 정밀 조정을 통해 특징 일관성을 향상시킨다.
• 최종 이미지를 엔드 투 엔드 학습된 디코더(신경망 기반)를 통해 합성(신경망 기반 디코더 사용, NNST-D)하거나 최적화 기반 픽셀 정밀 조정을 통해 합성(최적화 기반, NNST-Opt)한다.
• 목표 함수에 가중치가 부여된 유사도 항을 추가함으로써 지침(예: 세그멘테이션 마스크)을 선택적으로 확장한다.

실험 결과

연구 질문

• RQ1 수동 또는 자동 지침이 필요 없이도 신경망 기반 스타일 전이가 페치 기반 품질에 도달할 수 있는가?
• RQ2 패치가 아닌 개별 특징 벡터 매칭이 스타일 전이 품질과 디테일 보존에 어떤 영향을 미치는가?
• RQ3 0-중심화와 코사인 거리가 특징 매칭 및 시각적 출력 품질 향상에 얼마나 기여하는가?
• RQ4 비모수적 특징 재배열과 모수적 합성의 하이브리드 접근법이 고품질과 효율성을 동시에 달성할 수 있는가?
• RQ5 정렬 또는 도메인 특화 튜닝 없이도 다양한 콘텐츠 및 스타일 이미지에 대해 이 방법이 얼마나 잘 일반화되는가?

주요 결과

• NNST-D는 512×512 입력에 대해 몇 초 내에 실행되며, 더 느린 최적화 기반 방법과 비교해도 시각적 품질이 유사하거나 뛰어나다.
• NNST-Opt는 이전 최신 기술 수준(SOTA)을 뛰어넘는 고품질 결과를 생성하며, 512×512 입력에 대해 30초 이상 소요되며, 400명의 참가자가 참여한 사용자 연구에서 확실하게 뛰어난 성능을 입증했다.
• 고해상도에서 질감과 브러시스트로크의 충실도가 크게 향상되어, 이전 신경망 기반 방법들과의 정성적 비교에서 슈퍼리어한 성능을 보였다.
• 코사인 거리 기반 특징 벡터 매칭과 0-중심화가 시각적 다양성과 스타일 정확도 향상에 측정 가능한 기여를 했다.
• 지침(예: 세그멘테이션 마스크)이 제공될 경우, NNST는 의미론적으로 유의미한 스타일 전이를 가능하게 하여 다른 신경망 기반 방법보다 스타일 디테일 보존에서 뛰어난 성능을 보였다.
• NNST-Opt와 페치 기반 합성(예: Fišer 등)을 조합하면 4K 출력을 가능하게 하며 고주파 수준의 디테일도 유지할 수 있다. 이때 NNST는 중간 척도의 구조 전이에서 뛰어난 성능을 보였다.