[논문 리뷰] Depth-Preserving Real-Time Arbitrary Style Transfer.

Konstantin Kozlovtsev, Victor Kitov|arXiv (Cornell University)|2019. 06. 03.

Advanced Image Processing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 콘텐츠 이미지의 깊이 맵을 유지하기 위해 스타일 조정 강도를 가변적으로 조절하는 AdaIN을 확장하여 깊이를 유지하는 실시간 임의의 스타일 전이 방법을 제안한다. 기존 방법들이 깊이를 상실하거나 재학습이 필요로 하는 것과는 달리, 이 방법은 인지적 깊이를 유지하면서도 효율적이고 고성능의 스타일 전이를 가능하게 하며, 사용자 연구를 통해 검증되었다.

ABSTRACT

Style transfer is the process of rendering one image with some content in the style of another image, representing the style. Recent studies of Liu et al. (2017) show that traditional style transfer methods of Gatys et al. (2016) and Johnson et al. (2016) fail to reproduce the depth of the content image, which is critical for human perception. They suggest to preserve the depth map by additional regularizer in the optimized loss function, forcing preservation of the depth map. However these traditional methods are either computationally inefficient or require training a separate neural network for each style. AdaIN method of Huang et al. (2017) allows efficient transferring of arbitrary style without training a separate model but is not able to reproduce the depth map of the content image. We propose an extension to this method, allowing depth map preservation by applying variable stylization strength. Qualitative analysis and results of user evaluation study indicate that the proposed method provides better stylizations, compared to the original AdaIN style transfer method.

연구 동기 및 목표

• 콘텐츠 이미지의 깊이 맵을 유지하지 못하는 기존 스타일 전이 방법의 한계를 해결함으로써 인간의 인지에 중요한 깊이 정보를 유지하는 것.
• 기존 최적화 기반 스타일 전이 방법의 계산 비효율성과 모델 재학습 요구 사항을 해결하는 것.
• 효율적인 AdaIN 방법을 확장하여 깊이 유지 기능을 구현하면서도 실시간 성능과 임의의 스타일 전이 능력을 유지하는 것.
• 원본 콘텐츠 이미지의 시각적 스타일과 공간적 깊이 구조를 모두 유지하는 고성능 스타일 전이를 가능하게 하는 것.

제안 방법

• 스타일 적용 정도를 제어할 수 있는 학습 가능한 스타일 조정 강도 파라미터를 도입하여 AdaIN(적응형 인스턴스 정규화) 스타일 전이 프레임워크를 확장한다.
• 최적화 과정에서 콘텐츠 이미지의 공간적 깊이 구조를 유지하기 위해 손실 함수에 깊이 맵 정규화 항을 통합한다.
• 정방향 전파 중에 깊이 맵을 공간적 사전 지식으로 활용하여, 스타일 전이 결과가 원본 깊이 레이아웃을 유지하도록 보장한다.
• 각 새로운 스타일에 대해 재학습이 필요 없이 단일 학습된 네트워크를 사용하여 임의의 스타일 전이를 구현한다.
• 콘텐츠 손실, 스타일 손실, 깊이 유지 손실의 가중 조합으로 손실 함수를 최적화하여 충실도와 스타일 전이의 균형을 맞춘다.
• 층별 또는 특징 맵 단위로 스타일 조정 강도를 적응적으로 적용하여 깊이 유지와 스타일 강도에 대한 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 AdaIN 기반 스타일 전이 방법을 재학습 없이 콘텐츠 이미지의 깊이 맵을 유지하도록 수정할 수 있는가?
• RQ2 가변적 스타일 조정 강도는 깊이 유지와 스타일 전이 품질 간의 균형에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 표준 AdaIN 및 전통적인 최적화 기반 방법에 비해 인지적 깊이와 사용자 선호도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 재학습 없이도 실시간으로 깊이 유지 스타일 전이가 가능할 수 있는가?

주요 결과

• 질적 분석과 사용자 평가를 통해 제안된 방법이 콘텐츠 이미지의 깊이 구조를 성공적으로 유지함을 확인했다.
• 사용자 평가 결과, 시각적 현실감과 깊이 인지 측면에서 원본 AdaIN 방법에 비해 깊이 유지 결과를 더 선호하는 경향을 보였다.
• 실시간 추론 속도를 확보하여 원본 AdaIN 프레임워크의 효율성을 유지했다.
• 가변적 스타일 조정 강도의 통합으로 스타일 강도와 깊이 충실도 간의 트레이드오프를 더 효과적으로 제어할 수 있었다.
• 깊이 맵 정규화 항은 깊이 구조를 무시하는 표준 AdaIN에 비해 깊이 유지 성능을 크게 향상시켰다.
• 각 새로운 스타일에 대해 재학습이 필요 없어, 임의의 스타일 전이의 유연성을 유지하면서도 깊이 인식 기능을 추가했다.