[논문 리뷰] Quadratic video interpolation

Xiangyu Xu, Siyao Li외 3명|arXiv (Cornell University)|2019. 11. 02.

Advanced Vision and Imaging인용 수 47

한 줄 요약

요약: 이 논문은 이웃 프레임의 가속도 정보를 활용하여 정확한 중간 프레임을 합성하는 2차 비디오 보간 방법을 소개합니다. 흐름 역전(layer)과 적응형 흐름 필터링이 고품질 프레임 합성에 도움을 줍니다.

ABSTRACT

Video interpolation is an important problem in computer vision, which helps overcome the temporal limitation of camera sensors. Existing video interpolation methods usually assume uniform motion between consecutive frames and use linear models for interpolation, which cannot well approximate the complex motion in the real world. To address these issues, we propose a quadratic video interpolation method which exploits the acceleration information in videos. This method allows prediction with curvilinear trajectory and variable velocity, and generates more accurate interpolation results. For high-quality frame synthesis, we develop a flow reversal layer to estimate flow fields starting from the unknown target frame to the source frame. In addition, we present techniques for flow refinement. Extensive experiments demonstrate that our approach performs favorably against the existing linear models on a wide variety of video datasets.

연구 동기 및 목표

• 비선형 운동을 활용하여 비디오 프레임 보간을 가속도 정보까지 활용해 개선하려는 동기를 제시합니다.
• 프레임 0에서 중간 시간 t까지의 앞방향 변위 f0→t를 예측하는 2차 흐름 모델을 개발합니다.
• 알려진 프레임으로부터의 합성에 대해 역방향 흐름을 추정하는 differentiable 흐름 역전 레이어를 도입합니다.
• 흐름 추정치를 다듬고 인공물 감소를 위한 적응형 흐름 필터링 네트워크를 제시합니다.
• 다양한 데이터셋(GOPRO, Adobe240, UCF101, DAVIS)에서 최첨단 성능을 입증합니다.

제안 방법

• f0→1 및 f0→−1로부터 2차 모델을 이용해 f0→t의 앞방향 흐름을 예측합니다.
• 연결된 예측 흐름을 집계하는 differentiable 흐름 역전 레이어를 통해 f t→0의 역방향 흐름을 추정합니다.
• 샘플링 오프셋과 잔차를 학습하는 적응형 필터링 네트워크로 역전된 흐름을 정제합니다.
• 학습된 마스크를 사용해 보간 프레임을 합성하기 위해 공학적으로 보정된 I0, I1를 왜곡하고 융합합니다.
• L1 및 지각적 용어를 결합한 손실로 엔드-투-엔드로 학습합니다.
• 선택적으로 3차 모델과 같은 고차 프레임워크로 확장합니다.

실험 결과

연구 질문

• RQ1 2차 모델을 통한 가속도 정보의 도입이 선형 방법에 비해 보간 품질을 향상시키는가?
• RQ2 differentiable 흐름 역전 레이어가 고품질 프레임 합성을 위한 효과적인 역방향 흐름 추정을 가능하게 하는가?
• RQ3 적응형 흐름 필터링이 역전된 흐름의 인공물을 줄이고 시각적 충실도를 향상시키는가?
• RQ4 제안된 2차 보간이 다양한 데이터셋에서 최첨단 방법과 비교해 어떤 성능을 보이는가?

주요 결과

방법	GOPRO 전체 PSNR	GOPRO 전체 SSIM	GOPRO IE	Adobe240 전체 PSNR	Adobe240 전체 SSIM	Adobe240 IE
단계	23.95	0.700	17.89	22.05	0.620	22.08
DVF	21.94	0.776	21.30	20.55	0.720	25.14
SepConv	29.52	0.922	9.26	27.69	0.895	11.38
SuperSloMo	29.00	0.918	9.51	27.33	0.892	11.50
우리 방법(비quadratic 제거)	29.57	0.923	9.02	27.86	0.898	10.93
우리	31.27	0.948	7.23	29.62	0.929	8.73

• 2차 방법이 GOPRO 및 Adobe240에서 PSNR 및 SSIM 측면에서 선형 방법을 능가하면서 보간 오차(IE)를 감소시킵니다.
• 가속도 정보(2차 흐름)를 사용하는 것이 qua가 없는 경우에 비해 여러 데이터셋에서 PSNR/SSIM의 상당한 이득을 제공합니다.
• 흐름 역전 레이어가 단순한 선형 조합보다 더 정확한 역방향 흐름을 생성하여 합성 품질을 향상시킵니다.
• 적응형 흐름 필터링은 역전된 흐름의 인공물을 완화하여 더 깨끗한 보간을 제공합니다.
• UCF101 및 DAVIS 전반에서 2차 모델이 경쟁력 있는 PSNR/SSIM과 더 낮은 IE를 달성하여 일반화 능력이 양호함을 시사합니다.