[논문 리뷰] DeepMovie: Using Optical Flow and Deep Neural Networks to Stylize Movies

Alexander G. Anderson, Cory P. Berg외 2명|arXiv (Cornell University)|2016. 05. 26.

Advanced Vision and Imaging참고 문헌 19인용 수 17

한 줄 요약

이 논문은 시간적 일관성을 확보하기 위해 깊이 신경망과 광학 흐름을 사용하여 영상을 스타일화하는 방법을 제안한다. 이전 프레임의 스타일화된 출력을 광학 흐름을 이용해 왜곡하여 다음 프레임의 초기화로 사용함으로써, 물체와 함께 움직이는 스타일 전이를 통해 프레임 간 독립적 또는 단순한 프레임 간 초기화 방법에 비해 시각적 품질을 크게 향상시킨다.

ABSTRACT

A recent paper by Gatys et al. describes a method for rendering an image in the style of another image. First, they use convolutional neural network features to build a statistical model for the style of an image. Then they create a new image with the content of one image but the style statistics of another image. Here, we extend this method to render a movie in a given artistic style. The naive solution that independently renders each frame produces poor results because the features of the style move substantially from one frame to the next. The other naive method that initializes the optimization for the next frame using the rendered version of the previous frame also produces poor results because the features of the texture stay fixed relative to the frame of the movie instead of moving with objects in the scene. The main contribution of this paper is to use optical flow to initialize the style transfer optimization so that the texture features move with the objects in the video. Finally, we suggest a method to incorporate optical flow explicitly into the cost function.

연구 동기 및 목표

• 영상에 신경망 기반 스타일 전이를 적용할 때 시간적 일관성을 유지하는 데 도전하는 문제를 해결하기 위해.
• 프레임 간 독립적인 스타일 전이의 한계를 극복하기 위해, 이는 깜빡임과 일관되지 않은 질감 이동을 유발한다.
• 스タイル 특징가 화면에 고정되어 객체와 함께 움직이지 않는 단순한 프레임 간 초기화 방식을 개선하기 위해.
• 연속된 영상 프레임 간 스타일 전이 최적화를 안내하기 위해 광학 흐름을 활용하는 방법을 개발하기 위해.
• 시간적 일관성을 향상시키기 위해 광학 흐름을 직접 스타일 전이 손실 함수에 통합하는 것을 탐색하기 위해.

제안 방법

• 이 방법은 깊이 신경망을 사용하여 이전 프레임의 스타일화된 출력을 광학 흐름을 이용해 왜곡하여 다음 프레임의 초기화로 사용함으로써, 가티스 등이 제안한 신경망 기반 스타일 전이 기법을 영상에 확장한다.
• 연속된 영상 프레임 간에 광학 흐름 필드를 계산하여 각 픽셀의 운동 벡터를 추정한다.
• 이전 프레임의 왜곡된 스타일화된 이미지를 다음 프레임에서 최적화 과정의 초기 이미지로 사용함으로써, 스타일 특징이 객체와 함께 움직이도록 보장한다.
• 스타일 전이 최적화는 콘텐츠 손실, 스타일 손실(Gram 행렬 차이), 총 변동성 정규화를 조합한 손실 함수를 사용한다.
• 저자들은 시간적 일관성을 추가로 정규화하기 위해 광학 흐름을 손실 함수에 명시적으로 통합하는 것을 제안한다.
• 조명 변화와 특수 효과를 더 잘 처리하기 위해 스타일 이미지에 히스토그램 매칭을 적용하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 기반 스타일 전이가 어떻게 영상에 적응되어야 하며, 스타일화된 질감이 움직이는 객체와 함께 일관되게 움직이는가?
• RQ2 프레임 간 독립적 및 프레임 간 초기화 방법의 한계는 무엇이며, 어떻게 이를 극복할 수 있는가?
• RQ3 광학 흐름이 후속 프레임의 스타일 전이 최적화를 초기화하는 데 효과적으로 사용될 수 있는가?
• RQ4 손실 함수에 광학 흐름을 명시적으로 포함시키는 것이 시각적 품질과 일관성 향상에 어느 정도 기여하는가?
• RQ5 간단한 이미지 성질(예: 조도, 대비)은 어떻게 복잡한 스타일 특징에서 분리되어야 하며, 이를 통해 더 나은 예술적 제어를 가능하게 할 수 있는가?

주요 결과

• 각 후속 프레임의 스타일 전이를 광학 흐름을 사용해 초기화함으로써 시각적 품질이 크게 향상되었으며, 카메라 편향 시 브러시 스타일이 객체와 함께 자연스럽게 움직이는 것으로 나타났다.
• 이 방법은 독립적인 프레임 간 스타일 전이 및 이전에 렲된 프레임을 사용한 초기화 방식보다 우수한 성능을 보였으며, 이는 질감이 화면에 고정되어 있어 '녹는' 현상이 발생하기 때문이다.
• 이 방법은 움직이는 가림막에 의해 노출되는 표면과 같은 점진적인 시점 변화를 성공적으로 처리하여 일관된 스타일 전이를 유지했다.
• 특수 효과나 복잡한 조명 조건이 있는 장면에 적용했을 때는 왜곡 아티팩트가 발생하여, 동적 조명이나 투명도 처리의 한계를 드러냈다.
• 스타일 이미지에 히스토그램 매칭을 적용함으로써 조도 변화가 있는 장면에서 결과가 향상되었으며, 조명 차이로 인한 일관성 없는 현상을 줄였다.
• 저자들은 통계적 일관성은 향상되었지만, 종종 예술적 의도는 약간의 프레임 간 변동성을 필요로 하므로, 일관성과 표현력 사이의 상충 관계를 관찰했다.