[논문 리뷰] Texture Reformer: Towards Fast and Universal Interactive Texture Transfer

Zhizhong Wang, Lei Zhao외 5명|arXiv (Cornell University)|2021. 12. 06.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 사용자가 지정한 의미 맵을 활용하여 상호작용식 텍스처 전이를 위한 빠르고 보편적인 신경망 프레임워크인 Texture Reformer을 제안한다. 피드포워드 방식의 다중 시점, 다단계 합성 파이프라인을 사용하며, 시점별 텍스처 재구성(VSTR)과 통계 기반 향상 기법을 통해 최고 품질의 구조 유지 결과를 얻으며, 기존 최고 수준의 방법들보다 2–5개 정도의 주기 빠른 속도로 작동한다.

ABSTRACT

In this paper, we present the texture reformer, a fast and universal neural-based framework for interactive texture transfer with user-specified guidance. The challenges lie in three aspects: 1) the diversity of tasks, 2) the simplicity of guidance maps, and 3) the execution efficiency. To address these challenges, our key idea is to use a novel feed-forward multi-view and multi-stage synthesis procedure consisting of I) a global view structure alignment stage, II) a local view texture refinement stage, and III) a holistic effect enhancement stage to synthesize high-quality results with coherent structures and fine texture details in a coarse-to-fine fashion. In addition, we also introduce a novel learning-free view-specific texture reformation (VSTR) operation with a new semantic map guidance strategy to achieve more accurate semantic-guided and structure-preserved texture transfer. The experimental results on a variety of application scenarios demonstrate the effectiveness and superiority of our framework. And compared with the state-of-the-art interactive texture transfer algorithms, it not only achieves higher quality results but, more remarkably, also is 2-5 orders of magnitude faster. Code is available at https://github.com/EndyWon/Texture-Reformer.

연구 동기 및 목표

• 기존 상호작용식 텍스처 전이 방법의 한계를 해결하기 위해, 반복 최적화와 CPU 중심 연산으로 인해 느린 문제를 해결하고자 한다.
• 도드레부터 아트로의 전환, 패턴 편집, 텍스트 효과 전이, 가상 시착 등의 다양한 텍스처 전이 작업을 하나의 보편적 프레임워크로 통합하고자 한다.
• 구조를 잘 유지하면서도 세밀한 텍스처 디테일을 확보하는 고품질 결과를 달성하면서도 추론 속도를 극적으로 향상시키고자 한다.
• 학습이 없는 피드포워드 아키텍처를 개발하여 각 입력에 대해 재학습이 필요 없고, 실시간 사용자 상호작용이 가능하도록 하고자 한다.

제안 방법

• 粗糙에서 세밀로 진행되는 세 단계 합성 파이프라인을 사용한다: 전역 구조 정렬, 국소 텍스처 정밀화, 종합적 효과 향상.
• 의미 맵 가이던스를 활용하여 구조 유지 및 정렬을 향상시키는 새로운 시점별 텍스처 재구성(VSTR) 연산을 도입한다. 이는 학습이 필요 없이 수행된다.
• VSTR는 두 단계로 구성된다: 첫 번째로 전역 시점이 원본 텍스처의 구조를 캡처하고 정렬하고, 두 번째로 국소 시점이 세부 디테일을 정밀화한다.
• 최종 단계에서 통계 기반 향상(SE) 연산을 적용하여 색상, 밝기, 대비와 같은 저수준 효과를 향상시킨다.
• 전체 파이프라인이 사전 훈련된 오토인코더를 사용하여 구현되며, 추론 중에 역전파 또는 최적화가 필요하지 않다.
• 이 방법은 학습이 없고 피드포워드 방식이므로 VSTR와 SE가 학습이 없고 네트워크가 피드포워드 방식이므로 실시간 성능을 구현할 수 있으며, CPU 또는 GPU에서 모두 작동한다.

실험 결과

연구 질문

• RQ1 반복 최적화나 학습 기반 정밀화에 의존하지 않고도 보편적이고 빠르며 고품질의 상호작용식 텍스처 전이 프레임워크를 구축할 수 있는가?
• RQ2 의미 맵의 세부 정보가 적은 경우(예: 도드레)에도 구조적 세부 정보를 잘 유지하면서 정확한 텍스처 전이를 효과적으로 유도할 수 있는가?
• RQ3 학습이 없는 피드포워드 다단계 아키텍처는 기존 최적화 기반 방법에 비해 속도와 품질 면에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 학습이 없는 연산인 VSTR가 미분 가능하고 학습 기반 대안들보다 더 나은 구조 유지와 의미 정렬을 달성할 수 있는가?

주요 결과

• 제안된 방법은 최고 수준의 방법들보다 2–5개 정도의 주기 빠른 추론 속도를 기록하며, 256×256 해상도 이미지의 경우 GPU에서 0.232초, CPU에서 2.573초의 추론 시간을 기록한다.
• 512×512 해상도에서는 GPU에서 0.956초, CPU에서 12.381초의 시간이 소요되며, T-Effect와 CFITT 등의 경쟁자들보다 뚜렷한 성능 우위를 보인다.
• 사용자 연구 결과, 32.1%의 참가자가 Texture Reformer의 결과를 다른 방법들보다 선호했으며, T-Effect(23.8%), CFITT(26.2%), Neural Doodle(10.3%), STROTSS(7.6%)를 모두 앞섰다.
• 낮은 LPIPS 및 스타일 손실 값으로 인해 더 높은 지각 품질을 확보했으며, 원본 텍스처의 구조와 종합적 스타일 유지가 뛰어나다는 것을 확인했다.
• 도드레에서 아트로의 전환, 패턴 편집, 텍스트 효과 전이, 가상 시착 등 다양한 작업에 대해 강력한 내재성과 보편성을 보이며, 다양한 작업에 대한 적용 가능성을 입증했다.
• 간단한 구조임에도 불구하고 높은 성능을 보이며, 이미지별 재학습이나 복잡한 최적화가 필요 없어 상호작용형 응용 분야에 매우 적합하다.