[논문 리뷰] Neural Abstract Style Transfer for Chinese Traditional Painting

Bo Li, Caiming Xiong외 4명|arXiv (Cornell University)|2018. 12. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 중국 전통 회화의 추상성과 질감 부재를 강조하는 데 특화된 새로운 신경 스타일 전이 방법을 제안한다. MXDoG 유도 손실과 세 가지 미분 가능한 손실 항목을 도입함으로써 기존 방법보다 추상적인 브러시워크와 스타일화된 일관성을 더 잘 유지하여 실제 이미지에서 더 자연스럽고 미학적으로 일관된 결과를 달성한다.

ABSTRACT

Chinese traditional painting is one of the most historical artworks in the world. It is very popular in Eastern and Southeast Asia due to being aesthetically appealing. Compared with western artistic painting, it is usually more visually abstract and textureless. Recently, neural network based style transfer methods have shown promising and appealing results which are mainly focused on western painting. It remains a challenging problem to preserve abstraction in neural style transfer. In this paper, we present a Neural Abstract Style Transfer method for Chinese traditional painting. It learns to preserve abstraction and other style jointly end-to-end via a novel MXDoG-guided filter (Modified version of the eXtended Difference-of-Gaussians) and three fully differentiable loss terms. To the best of our knowledge, there is little work study on neural style transfer of Chinese traditional painting. To promote research on this direction, we collect a new dataset with diverse photo-realistic images and Chinese traditional paintings. In experiments, the proposed method shows more appealing stylized results in transferring the style of Chinese traditional painting than state-of-the-art neural style transfer methods.

연구 동기 및 목표

• 신경 스타일 전이를 통해 중국 전통 회화의 추상적이고 질감이 없는 스타일을 전이하는 데 도전하는 것.
• 중국 예술에서 흩어진 표현적인 브러시워크의 본질을 유지하지 못하는 기존 신경 스타일 전이 방법을 개선하는 것.
• 수정된 차등-가우시안 필터를 통해 내용의 무결성과 추상적 표현을 동시에 강제하는 손실 함수를 개발하는 것.
• 다양한 사진적 이미지와 중국 전통 회화로 구성된 새로운 데이터셋을 공개하여 이 분야의 연구를 촉진하는 것.

제안 방법

• 이미지에서 추상화된 내용 표현을 추출하기 위해 수정된 확장된 차등-가우시안(MXDoG) 필터를 도입한다.
• 입력 이미지의 MXDoG 필터링된 내용과 일치시키는 MXDoG 콘텐츠 손실을 제안한다.
• MXDoG 필터링 후 스타일화된 이미지와 콘텐츠 이미지 간의 MXDoG 기반 콘텐츠 일관성 손실을 통합한다.
• 스타일화된 이미지의 MXDoG 필터링 결과가 목표 그림의 스타일과 일치하도록 보장하는 스타일 일관성 손실을 도입한다.
• MXDoG 콘텐츠 손실, 콘텐츠 일관성 손실, 스타일 일관성 손실의 세 가지 완전히 미분 가능한 손실 항목을 사용하여 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 이러한 손실 항목으로 엔드 투 엔드로 훈련된 깊이 신경망 아키텍처를 활용하여 중국 회화의 추상적이고 수인적인 특성을 반영한 스타일화된 출력을 생성한다.

실험 결과

연구 질문

• RQ1 신경 스타일 전이 방법은 어떻게 중국 전통 회화의 추상적이고 브러시워크 중심의 스타일을 유지하도록 적응시킬 수 있는가?
• RQ2 콘텐츠와 추상화된 콘텐츠를 균형 있게 반영하도록 유도하는 데 효과적인 손실 함수는 무엇인가?
• RQ3 수정된 차등-가우시안 필터는 비사진적 예술을 위한 신경 스타일 전이에서 추상성과 스타일화의 정확도를 향상시키는 데 기여하는가?
• RQ4 현재 최고 수준의 신경 스타일 전이와 비교했을 때 제안된 방법은 사용자 선호도와 시각적 일관성 측면에서 어떻게 성능을 내는가?
• RQ5 현재의 신경 스타일 전이 기법은 중국 회화에서 빛/그림자 변화와 의미적 추상화를 다루는 데 어떤 한계를 지니는가?

주요 결과

• 제안된 방법은 Fast-Neural-Style와 같은 기준 방법보다 더 추상적이고 중국 전통 회화와 시각적으로 일관된 스타일화된 이미지를 생성한다.
• 사용자 연구 결과, 특히 질감이 없고 색감이 적은 스타일의 이미지에서 추상성과 스타일 반영 측면에서 제안된 방법이 뚜렷한 선호도를 보였다.
• 질감과 색감이 적은 스타일에서는 '더 추상적'이라는 평가에서 68%의 경우, '스타일을 더 잘 반영'한다는 평가에서 65%의 경우에서 Fast-Neural-Style를 능가했다.
• 산과 나무와 같은 물체에서 중복된 라인과 에지가 감소하여 더 깔끔하고 자연스러운 스타일화된 출력이 도출되었다.
• 개선된 성능에도 불구하고, 인간 수준의 추상화를 완전히 재현하지 못하며, 특히 의미적 대응과 빛/그림자 전환 처리에 어려움을 겪는다.
• 실패 사례는 신경망의 의미적 이해 및 추상화 능력 향상의 필요성을 드러내며, 특히 복잡한 예술 스타일에 대해 더욱 강력한 이해 능력이 요구됨을 시사한다.