[논문 리뷰] FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation

Tarun Kalluri, Deepak Pathak외 2명|arXiv (Cornell University)|2020. 12. 15.

Advanced Vision and Imaging참고 문헌 78인용 수 45

한 줄 요약

FLAVR은 흐름 기반이 없는, 엔드-투-엔드로 학습 가능한 3D CNN으로 단일 순전파에서 다중 프레임 비디오 보간을 수행하며, 흐름 기반 방법에 비해 상당한 속도 향상을 보이고, 다운스트림 작업을 위한 유용한 자기지도 표현을 가능하게 하는 최첨단 품질을 달성합니다.

ABSTRACT

A majority of methods for video frame interpolation compute bidirectional optical flow between adjacent frames of a video, followed by a suitable warping algorithm to generate the output frames. However, approaches relying on optical flow often fail to model occlusions and complex non-linear motions directly from the video and introduce additional bottlenecks unsuitable for widespread deployment. We address these limitations with FLAVR, a flexible and efficient architecture that uses 3D space-time convolutions to enable end-to-end learning and inference for video frame interpolation. Our method efficiently learns to reason about non-linear motions, complex occlusions and temporal abstractions, resulting in improved performance on video interpolation, while requiring no additional inputs in the form of optical flow or depth maps. Due to its simplicity, FLAVR can deliver 3x faster inference speed compared to the current most accurate method on multi-frame interpolation without losing interpolation accuracy. In addition, we evaluate FLAVR on a wide range of challenging settings and consistently demonstrate superior qualitative and quantitative results compared with prior methods on various popular benchmarks including Vimeo-90K, UCF101, DAVIS, Adobe, and GoPro. Finally, we demonstrate that FLAVR for video frame interpolation can serve as a useful self-supervised pretext task for action recognition, optical flow estimation, and motion magnification.

연구 동기 및 목표

• 명시적 광류 또는 깊이 신호 없이 빠르고 견고한 다중 프레임 비디오 보간을 목표로 한다.
• 단일 샷 다중 프레임 보간을 위한 흐름 비의존적 엔드-투-엔드 학습 가능한 3D CNN 아키텍처를 개발한다.
• 최첨단 방법과 비교했을 때 추론 속도가 크게 향상되면서 더 나은 정확도를 달성한다.
• FLAVR 표현의 자기지도 학습 가능성을 다운스트림 작업(예: 동작 인식 및 광류 추정)으로 확장한다.]
• method:[

제안 방법

• 3D 컨볼루션을 사용해 공간-시간 역학을 모델링하는 3D U-Net 스타일 아키텍처(FVAVR) 제안
• 상황 창(2C 프레임)의 입력 클립을 샘플링하고 단일 순전파에서 k-1 중간 프레임을 예측하기 위해 라벨이 없는 비디오에서 학습
• 시간적 특징을 2D 공간 예측 맵으로 축소하는 시간적 융합 단계 도입
• 모션 관련 정보를 강조하기 위해 각 계층 후에 시공간 특성 게이팅 적용
• 모든 k-1 중간 프레임에 대해 네트워크를 끝까지 학습시키기 위해 L1 픽셀 손실 사용
• 정확도와 속도 사이의 균형을 위해 R3D-18, 그룹 컨볼루션 등을 백본으로 평가
• k 및 컨텍스트 윈도우 크기 C의 융통성 있는 보간 인자를 가능하게 하는 샘플링 전략 포함

Figure 1 : Our contributions We propose FLAVR, a simple and efficient architecture for single shot multi-frame interpolation. The plot of accuracy (PSNR) vs. inference speed (fps) of FLAVR compared with current methods on GoPro 8x interpolation with 512 $\times$ 512 input images. FLAVR is 6 x faster

실험 결과

연구 질문

• RQ1 플로우 프리 네트워크가 단일 순전파에서 다중 중간 프레임(k > 2)을 경쟁력 있는 품질로 예측할 수 있는가?
• RQ2 FLAVR가 벤치마크(Vimeo-90K, UCF101, DAVIS, GoPro, Adobe)에서 PSNR/SSIM 및 속도 측면에서 흐름 기반 및 다른 최첨단 프레임 보간 방법과 비교하면 어떻게 되는가?
• RQ3 아키텍처 선택(3D CNN 백본, 시간 보폭, 채널 게이팅, 융합 전략)이 보간 품질 및 런타임에 어떤 영향을 미치는가?
• RQ4 프레임 보간을 통해 FLAVR이 학습한 표현이 액션 인식 및 광류 추정과 같은 다운스트림 작업으로 유익하게 전달되는가?

주요 결과

• FLAVR은 표준 벤치마크에서 강력한 보간 품질을 달성하며 Vimeo-90K와 GoPro에서 2x 보간 시 RGB만 입력 및 흐름+깊이 기반 기법에 비해 PSNR/SSIM에서 경쟁력을 보임.
• 8x 보간 시 FLAVR은 GoPro에서 31.31 PSNR 및 0.94 SSIM을 달성하고, RGB 입력만 사용하는 다수의 선행 방법보다 우수한 성능을 보임.
• FLAVR은 현재 가장 정확한 방법(QVI) 대비 최대 6x, 가장 빠른 방법(SuperSloMo) 대비 약 2x의 속도 향상을 제공하면서도 품질을 유지하거나 개선함.
• 프레임 보간에 대한 자기지도 사전 학습은 다운스트림 작업(액션 인식 UCF101, HMDB51 및 광류 추정 MPI-Sintel, KITTI)에서 개선을 가져옴.
• 연구에서 시간 해상도 보존(시간 축 방향 보폭 없음)과 시공간 3D 컨볼루션이 선명도와 PSNR을 향상시키고, 게이팅은 모션 경계에서 특징 강조를 개선함。

(a) Overview of the proposed architecture