[논문 리뷰] Geometric Style Transfer

Xiao-Chang Liu, Xuanyi Li외 2명|arXiv (Cornell University)|2020. 07. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 7

한 줄 요약

이 논문은 기하학적 스타일 전이(GST)를 소개한다. GST는 콘텐츠 이미지, 텍스처 스타일 이미지, 별도의 기하학적 스타일 이미지를 사용하여 텍스처와 기하학적 스타일(예: 객체의 형태, 자세, 공간적 구성 등)을 동시에 전이하는 새로운 신경망 아키텍처이다. 이 방법은 텍스처 전이 전에 콘텐츠 이미지를 스타일 이미지의 기하학적 구조에 맞게 왜곡함으로써 기존의 텍스처 중심 방법보다 훨씬 더 현실적이고 인지적으로 정확한 스타일 전이 결과를 얻을 수 있다. 이는 목표 예술 스타일과의 정렬도 크게 향상시킨다.

ABSTRACT

Neural style transfer (NST), where an input image is rendered in the style of another image, has been a topic of considerable progress in recent years. Research over that time has been dominated by transferring aspects of color and texture, yet these factors are only one component of style. Other factors of style include composition, the projection system used, and the way in which artists warp and bend objects. Our contribution is to introduce a neural architecture that supports transfer of geometric style. Unlike recent work in this area, we are unique in being general in that we are not restricted by semantic content. This new architecture runs prior to a network that transfers texture style, enabling us to transfer texture to a warped image. This form of network supports a second novelty: we extend the NST input paradigm. Users can input content/style pair as is common, or they can chose to input a content/texture-style/geometry-style triple. This three image input paradigm divides style into two parts and so provides significantly greater versatility to the output we can produce. We provide user studies that show the quality of our output, and quantify the importance of geometric style transfer to style recognition by humans.

연구 동기 및 목표

• 기존의 신경 스타일 전이(NST) 방법이 텍스처와 색상에만 집중하는 한계를 보완하기 위해 기하학적 스타일 전이(GST)를 도입하여 예술적 구성과 형태 왜곡을 더 잘 포착하고자 한다.
• 세분화된 사전 지식이나 콘텐츠에 특화된 모델이 필요 없는 일반 목적의 GST 프레임워크를 개발하여 다양한 이미지 콘텐츠에 넓게 적용 가능하도록 하고자 한다.
• 기존의 두 이미지 입력(NST: 콘텐츠, 스타일)에서 세 이미지 입력(콘텐츠, 기하학적 스타일, 텍스처 스타일)으로 표준 NST 패러다임을 확장함으로써 스타일 전이의 제어력과 표현력을 높이고자 한다.
• 사람들이 평가한 결과를 통해 기하학적 스타일 전이가 목표 예술 스타일에 대한 인지적 유사도를 향상시킨다는 것을 실증적으로 검증하고자 한다.

제안 방법

• 이 방법은 NST 파이프라인에 병렬 처리 경로를 도입하여 별도의 기하학적 스타일 이미지에서 기하학적 왜곡 함수를 계산하고, 이를 텍스처 전이 전에 콘텐츠 이미지에 적용한다.
• 기하학적 왜곡은 콘텐츠 이미지와 기하학적 스타일 이미지 간의 고수준 특징을 매칭함으로써 학습되는 딥 네ural 네트워크를 통해 이루어지며, 이는 연속적이고 전역적인 이미지 변형을 가능하게 한다.
• 다중 해상도 특징 매칭을 사용하여 기하학적 일관성을 확보하고 왜곡 과정에서 이미지 품질을 유지한다.
• 텍스처 전이는 왜곡된 콘텐츠 이미지에 표준 NST 아키텍처(Gatys 등)를 적용하여 고해상도의 텍스처 합성을 보장한다.
• 세 이미지 입력 파라다임은 기하학적 스타일과 텍스처 스타일을 별도로 지정할 수 있게 하여 더 세밀하고 표현력 있는 스타일 전이를 가능하게 한다.
• 프레임워크는 엔드 투 엔드로 미분 가능하므로, 백프로파게이션을 통한 기하학적 전이와 텍스처 전이의 공동 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 기하학적 스타일 전이가 단순 텍스처 전이 대비 목표 예술 스타일에 대한 인지적 유사도를 뚜렷이 향상시키는가?
• RQ2 기하학적 스타일 전이의 포함 여부가 사람들의 스타일 전이 이미지 품질과 스타일 정확도에 대한 인식에 어떤 영향을 미치는가?
• RQ3 일반 목적의 GST 방법이 세분화된 사전 지식이나 콘텐츠에 특화된 모델 없이 다양한 콘텐츠 카테고리에 얼마나 널리 적용될 수 있는가?
• RQ4 세 이미지 입력 파라다임(콘텐츠, 기하학적 스타일, 텍스처 스타일)이 기존의 두 이미지 NST보다 더 표현력 있고 제어 가능한 스타일 전이를 가능하게 하는가?
• RQ5 전역 왜곡이 큐비즘이나 다중 시점 구성과 같은 복잡한 예술 스타일을 포착하는 데에 어떤 한계를 갖는가?

주요 결과

• 사용자 연구 결과, 제안된 방법의 출력 결과가 단순 텍스처 전이 결과보다 일관되게 선호됨을 보여주며, 이는 인지적 품질 향상과 스타일 정확도 향상을 시사한다.
• 사람 평가와 인지적 메트릭을 통해 측정한 결과, 기하학적 스타일 전이를 추가함으로써 기준 NST 방법보다 목표 스타일 이미지와 유사도가 뚜렷이 향상됨을 입증하였다.
• 기하학적 스타일 전이의 추가로, 엘 그레코의 기하학적 기형을 띤 인물이나 비잔틴의 역방향 투시법과 같은 형태 왜곡을 의도적으로 포함한 스타일에서는 더 자연스럽고 예술적으로 일관된 결과를 얻을 수 있었다.
• 세 이미지 입력 파라다임은 그림 12에서 보여지듯이, 기하학적 스타일과 텍스처 스타일 이미지를 다르게 설정함으로써 의도한 다양한 출력 결과를 생성할 수 있음을 보여주며, 더 높은 스타일 전이 제어력을 제공한다.
• 한계점으로는 국소적인 기하학적 변화(예: 얼굴 특징, 자세 변화) 처리가 열악하고, 큐비즘과 같은 매우 조각화되거나 조각별 매핑이 필요한 경우에 전역 왜곡이 잘 모델링되지 않는 점이 있다.
• 콘텐츠 이미지와 기하학적 스타일 이미지 간에 의미적 유사성이 없을 경우 특징 매칭에 실패하여 성능 저하가 발생함을 확인하였으며, 이는 이 방법의 핵심 제약 조건임을 시사한다.