[논문 리뷰] Coherent Online Video Style Transfer

Dongdong Chen, Jing Liao외 3명|arXiv (Cornell University)|2017. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 39

한 줄 요약

이 논문은 짧은 시간 동안의 운동 흐름과 망막 인식 특징 혼합을 통합하여 시간적 일관성을 보장하는 최초의 엔드 투 엔드, 피드포워드 신경망을 제안한다. 사전 훈련된 이미지 스타일 전이 네트워크를 활용하고 프레임 간 특징을 전파함으로써, 15 fps의 거의 실시간 성능을 달성하며 깜빡임이 없는 결과를 얻었으며, 프레임별 기반 기준선을 능가하고 최적화 기반 방법과 유사한 일관성 수준을 유지하면서도 1,000배 빠른 성능을 발휘한다.

ABSTRACT

Training a feed-forward network for fast neural style transfer of images is proven to be successful. However, the naive extension to process video frame by frame is prone to producing flickering results. We propose the first end-to-end network for online video style transfer, which generates temporally coherent stylized video sequences in near real-time. Two key ideas include an efficient network by incorporating short-term coherence, and propagating short-term coherence to long-term, which ensures the consistency over larger period of time. Our network can incorporate different image stylization networks. We show that the proposed method clearly outperforms the per-frame baseline both qualitatively and quantitatively. Moreover, it can achieve visually comparable coherence to optimization-based video style transfer, but is three orders of magnitudes faster in runtime.

연구 동기 및 목표

• 프레임별 신경망 비디오 스타일 전이에서 발생하는 깜빡임과 시간적 비일관성 문제를 해결하기 위해.
• 피드포워드 네트워크를 사용하여 실시간으로 안정적인 비디오 시퀀스 스타일 전이를 가능하게 하기 위해.
• 단기 일관성을 프레임 간 전파함으로써 장기적인 시간적 일관성을 달성하기 위해.
• 기존의 이미지 스타일 전이 네트워크와 호환되며, 재훈련 없이도 새로운 스타일에 일반화 가능한 방법을 설계하기 위해.
• 최적화 기반 비디오 스타일 전이 대비 런타임을 수개의 주기로 감소시키면서도 시각적 품질을 유지하기 위해.

제안 방법

• 연속 프레임 간의 밀도 있는 특징 대응을 추정하기 위해 흐름 하위 네트워크를 통합하여 특징 공간에서 운동 궤적을 정렬한다.
• 막힘과 운동 불연속성을 탐지하기 위해 마스크 하위 네트워크를 통합하여 현재 및 이전 프레임의 특징을 적응적으로 혼합한다.
• 내용 표현과 강건성을 균형 잡기 위해 사전 훈련된 이미지 스타일 전이 네트워크의 중간층(r1/4)에 두 하위 네트워크를 통합한다.
• 스타일 전이 및 시간적 일관성 목표를 통합한 공동 손실 함수를 사용하여 전체 아키텍처를 엔드 투 엔드로 훈련한다.
• 운동 궤적을 따라 이전 프레임의 특징을 전파하여 단기 일관성을 장기적 일관성으로 확장한다.
• 더 나은 운동 정렬을 위해 사전 훈련된 FlowNet을 미세조정하여 흐름 하위 네트워크로 사용한다.

실험 결과

연구 질문

• RQ1 시간적 일관성을 모델링함으로써 피드포워드 네트워크가 안정적이고 깜빡임이 없는 비디오 스타일 전이를 달성할 수 있는가?
• RQ2 단기 일관성을 효과적으로 전파하여 비디오 스타일 전이에서 장기적 일관성을 달성할 수 있는가?
• RQ3 제안된 하위 네트워크가 재훈련 없이도 새로운 스타일에 일반화될 수 있는가?
• RQ4 시각적 및 정량적 일관성 측면에서 이 방법이 프레임별 기반 스타일 전이에 비해 어느 정도 향상되었는가?
• RQ5 최적화 기반 비디오 스타일 전이와 비교했을 때 이 방법은 속도와 품질 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 현대 GPU에서 15 fps 성능을 달성하여 최적화 기반 비디오 스타일 전이 대비 1,000배 빠른 속도를 기록한다.
• 안정성 오차(e_stab)는 r1(D) 층 조합에서 0.0038로 감소하여 기준선(e_stab = 0.0199)을 크게 뛰어넘었다.
• 카메라 움직임과 물체 움직임 조건에서도 시각적으로 일관된 결과를 도출하였으며, 깜빡임과 가시성 잔상 외부 요인의 영향을 최소화하였다.
• 다양한 스타일([9] 예시 포함)로 훈련한 경우, 흐름 및 마스크 하위 네트워크는 재훈련 없이도 새로운 스타일로 일반화되며 안정성을 유지하였다.
• 시각적 및 정량적 측면에서 프레임별 기반 기준선을 뛰어넘었으며, 최적 설정에서 PSI 점수는 0.4851에서 0.4086으로 향상되었다.
• 흐름 하위 네트워크를 미세조정하면 고정된 사전 훈련된 버전을 사용할 경우보다 훨씬 뛰어난 시간적 일관성을 달성한다.