[논문 리뷰] Context-aware Synthesis for Video Frame Interpolation

Simon Niklaus, Feng Liu|arXiv (Cornell University)|2018. 03. 29.

Advanced Vision and Imaging참고 문헌 31인용 수 30

한 줄 요약

이 논문은 양방향 광학 흐름을 사용하여 입력 프레임과 그들의 픽셀별 맥락 특징을 왜곡함으로써 합성 성능을 향상시키는 맥락 인식 비디오 프레임 보간 방법을 제안한다. 이전 방법들이 왜곡된 프레임을 간단히 혼합하는 데서 다름없이, 이 방법은 완전 컨volution 신경망을 사용하여 왜곡된 프레임과 맥락 맵에서 중간 프레임을 합성함으로써, 가림, 큰 운동, 흐림에 대해 뛰어난 성능을 달성한다. Middlebury 벤치마크에서 PSNR 34.62로 최신 기술을 초월한다.

ABSTRACT

Video frame interpolation algorithms typically estimate optical flow or its variations and then use it to guide the synthesis of an intermediate frame between two consecutive original frames. To handle challenges like occlusion, bidirectional flow between the two input frames is often estimated and used to warp and blend the input frames. However, how to effectively blend the two warped frames still remains a challenging problem. This paper presents a context-aware synthesis approach that warps not only the input frames but also their pixel-wise contextual information and uses them to interpolate a high-quality intermediate frame. Specifically, we first use a pre-trained neural network to extract per-pixel contextual information for input frames. We then employ a state-of-the-art optical flow algorithm to estimate bidirectional flow between them and pre-warp both input frames and their context maps. Finally, unlike common approaches that blend the pre-warped frames, our method feeds them and their context maps to a video frame synthesis neural network to produce the interpolated frame in a context-aware fashion. Our neural network is fully convolutional and is trained end to end. Our experiments show that our method can handle challenging scenarios such as occlusion and large motion and outperforms representative state-of-the-art approaches.

연구 동기 및 목표

• 가림, 큰 운동, 정확하지 않은 광학 흐름으로 인한 보간 성능 저하 문제를 해결하기 위해.
• 단순한 왜곡된 프레임 혼합을 넘어서 맥락 정보를 통합함으로써 합성 품질을 향상시키기 위해.
• 운동과 의미적 맥락을 모두 활용하는 탄력적이고 엔드 투 엔드로 훈련 가능한 신경망을 개발하기 위해.
• 특히 운동 흐림과 누락된 데이터를 다룰 때 도전적인 비디오 보간 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 입력 프레임에서 픽셀별 맥락 특징을 추출하기 위해 사전 훈련된 신경망을 사용한다.
• 입력 프레임 간의 이방향 광학 흐름을 추정하기 위해 PWC-Net을 활용한다.
• 추정된 이방향 흐름을 사용하여 입력 프레임과 맥락 맵을 사전에 왜곡한다.
• 왜곡된 프레임과 맥락 맵을 입력으로 받아 중간 프레임을 생성하는 완전 컨volution 신경망을 훈련한다.
• 체크리스트 아티팩트를 방지하기 위한 아키텍처 선택과 함께, 학습을 감독하기 위해 학습된 손실 함수(예: $ε$-손실 또는 라플라시안 손실)를 사용한다.
• 그리드 패턴 아티팩트를 방지하기 위해 전치 컨볼루션 대신 이중선형 보간을 적용한다.

실험 결과

연구 질문

• RQ1 픽셀별 맥락 정보를 통합하면, 가림과 운동 흐림이 존재하는 상황에서 비디오 프레임 보간 성능이 향상되는가?
• RQ2 왜곡된 프레임과 맥락 맵을 기반으로 하는 합성 네트워크가 전통적인 혼합 기반 방법보다 우수한가?
• RQ3 Middlebury 및 DAVIS와 같은 벤치마크 데이터셋에서 맥락 인식 합성은 최신 기술 대비 어떻게 비교되는가?
• RQ4 재훈련이나 반복적 보정 없이도 임의의 시간 위치 $t \in [0,1]$에서 보간이 가능한가?

주요 결과

• DVF 데이터셋에서 제안된 방법은 PSNR 34.62를 기록하여 바이오닉 플로우 기반 베이스라인(34.12)을 초월한다.
• Middlebury 벤치마크에서 이는 지금까지 발표된 모든 방법 중 최고 성능을 기록한다.
• 사람에 의한 평가에서, $ε$-손실을 사용한 제안된 방법은 다섯 개의 경쟁 방법 대비 80%의 비교에서 선호되었다.
• 이 방법은 큰 운동과 가림을 효과적으로 처리하여, 기반 혼합 접근 방식보다 더 적은 아티팩트를 생성한다.
• 맥락 맵의 사용은 운동 모호성 또는 흐름 데이터 누락 영역에서 합성 네트워크가 더 나은 예측을 내릴 수 있도록 한다.
• 이 방법은 재훈련이나 반복 단계 없이도 임의의 시간 위치 $t \in [0,1]$에서 보간이 가능하다.