[논문 리뷰] Towards Ultra-Resolution Neural Style Transfer via Thumbnail Instance Normalization

Zhe Chen, Wenhai Wang외 3명|arXiv (Cornell University)|2021. 03. 22.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 초고해상도 신경 스타일 전이를 위한 새로운 프레임워크인 URST를 제안한다. 이는 임의의 해상도 이미지(예: 10000×10000)를 패치로 나누고, 패치 간 스타일 일관성을 유지하기 위해 새로운 Thumbnail Instance Normalization(TIN) 레이어를 적용함으로써 처리한다. 이는 기존 방법보다 15배 낮은 메모리 사용량으로 최신 기술 수준의 성능을 달성하며, 재학습 없이도 큰 브러시 스타일을 구현할 수 있도록 하는 스트로크 퍼셉추얼 손실을 도입한다.

ABSTRACT

We present an extremely simple Ultra-Resolution Style Transfer framework, termed URST, to flexibly process arbitrary high-resolution images (e.g., 10000x10000 pixels) style transfer for the first time. Most of the existing state-of-the-art methods would fall short due to massive memory cost and small stroke size when processing ultra-high resolution images. URST completely avoids the memory problem caused by ultra-high resolution images by (1) dividing the image into small patches and (2) performing patch-wise style transfer with a novel Thumbnail Instance Normalization (TIN). Specifically, TIN can extract thumbnail features' normalization statistics and apply them to small patches, ensuring the style consistency among different patches. Overall, the URST framework has three merits compared to prior arts. (1) We divide input image into small patches and adopt TIN, successfully transferring image style with arbitrary high-resolution. (2) Experiments show that our URST surpasses existing SOTA methods on ultra-high resolution images benefiting from the effectiveness of the proposed stroke perceptual loss in enlarging the stroke size. (3) Our URST can be easily plugged into most existing style transfer methods and directly improve their performance even without training. Code is available at https://git.io/URST.

연구 동기 및 목표

• 초고해상도 이미지를 처리할 때 기존 신경 스타일 전이 방법의 메모리 제약과 작은 브러시 크기 문제를 해결하기 위해.
• 기존 GPU에서 전체 이미지 처리 없이도 임의의 해상도 스타일 전이를 가능하게 하기 위해.
• 패치 기반 접근 방식에서 흔히 손상되는 패치 간 시각적 일관성을 유지하기 위해.
• 초고해상도 출력에서 더 큰, 더 퍼셉추얼적으로 쾌적한 브러시 스타일을 유도함으로써 스타일 전이 품질을 향상시키기 위해.

제안 방법

• 초고해상도 콘텐츠 이미지를 메모리 소비를 줄이기 위해 작은 비중叠 패치로 나눈다.
• 각 패치의 저해상도 스냅샷에서 정규화 통계(평균 및 분산)를 계산하여 스타일 전이를 안내하는 새로운 Thumbnail Instance Normalization(TIN) 레이어를 도입한다.
• TIN을 사용하여 각 패치의 특징을 스냅샷에서 유도된 통계로 정규화함으로써 전체 이미지에 걸쳐 일관된 스타일을 보장한다.
• 네트워크가 더 큰, 흩어진 브러시 스타일을 학습하도록 유도하기 위해 보조 손실로 스트로크 퍼셉추얼 손실($\mathcal{L}_{\rm sp}$)을 통합한다.
• 패치 기반 스타일 전이 파이프라인을 사용한다: 분할 → TIN 및 $\mathcal{L}_{\rm sp}$로 스타일 전이 → 패치를 조합하여 전체 해상도 출력 생성
• 재학습 없이도 대부분의 기존 인스턴스 정규화(IN) 또는 인스턴스 기반 정규화(IW)-기반 스타일 전이 모델과 즉시 통합 가능하다.

실험 결과

연구 질문

• RQ1 표준 GPU에서 전체 이미지 처리 없이도 초고해상도 스타일 전이가 메모리 제한을 초과하지 않고 구현될 수 있는가?
• RQ2 패치 기반으로 큰 이미지를 처리할 때 패치 간 스타일 일관성이 어떻게 유지될 수 있는가?
• RQ3 스틸리제이션 출력의 브러시 크기를 효과적으로 확대하여 고해상도 결과에서 흩어진 무늬의 잡음 요소를 줄일 수 있는가?
• RQ4 제안된 TIN 레이어가 초고해상도 입력에 대해 전체 이미지 인스턴스 정규화의 안정적이고 정확한 근사치를 제공하는가?
• RQ5 스트로크 퍼셉추얼 손실은 기초 모델 아키텍처를 수정하지 않고도 스타일 전이 품질을 향상시킬 수 있는가?

주요 결과

• URST는 이전 최신 기술 수준의 방법(Wang et al., 2020)보다 15배 메모리 사용량을 줄였으며, 10000×10000 이미지 처리 시 1.94GB의 GPU 메모리만을 요구한다. 반면 기준선은 30.25GB가 필요하다.
• 이 프레임워크는 단일 12GB GPU에서 2.5GB의 GPU 메모리만으로도 12000×8000 픽셀(96메가픽셀) 이미지를 성공적으로 처리할 수 있다.
• 최소 1024×1024 픽셀의 스냅샷 크기를 가진 TIN은 전체 이미지 인스턴스 정규화와 매우 유사한 정규화 통계를 생성하여 고품질의 스타일 전이를 보장한다.
• 스트로크 퍼셉추얼 손실은 브러시 스타일의 크기를 크게 증가시켜 기준선 방법에 비해 더 자연스럽고 보다 쾌적한 출력을 만들어낸다.
• URST는 재학습 없이도 여러 기존 스타일 전이 모델에서 성능을 향상시켜 강력한 일반화 능력과 즉시 통합 가능성(플러그 앤 플레이)을 입증한다.
• 이 방법은 작은 브러시 스타일 접근 방식에서 흔히 발생하는 흩어진 무늬 잡음 요소를 피하면서도 큰, 흩어진 브러시 스타일을 가진 고품질의 스타일 전이 결과를 생성한다.