[논문 리뷰] RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation.

Zhewei Huang, Tianyuan Zhang외 3명|arXiv (Cornell University)|2020. 11. 12.

Advanced Vision and Imaging참고 문헌 46인용 수 53

한 줄 요약

RIFE는 움직임 경계 아티팩트를 줄이기 위해 양방향 흐름 평균화를 생략하고 굵기에서 잔인하게까지 중간 흐름을 직접 예측하는 실시간 중간 흐름 추정 네트워크(IFNet)를 제안한다. 엔드 투 엔드 훈련을 위해 누출 드리프트 기법을 사용하여 RIFE는 이전의 흐름 기반 방법보다 훨씬 빠른 추론 속도를 유지하면서 영상 프레임 보간에서 최고 성능을 달성한다.

ABSTRACT

We propose a real-time intermediate flow estimation algorithm (RIFE) for video frame interpolation (VFI). Most existing methods first estimate the bi-directional optical flows, and then linearly combine them to approximate intermediate flows, leading to artifacts around motion boundaries. We design an intermediate flow model named IFNet that can directly estimate the intermediate flows from coarse to fine. We then warp the input frames according to the estimated intermediate flows and employ a fusion process to compute final results. Based on our proposed leakage distillation, RIFE can be trained end-to-end and achieve excellent performance. Experiments demonstrate that RIFE is significantly faster than existing flow-based VFI methods and achieves state-of-the-art index on several benchmarks. The code is available at this https URL.

연구 동기 및 목표

• 이중 방향 광학 흐름의 선형 조합으로 인해 발생하는 영상 프레임 보간에서의 움직임 경계 아티팩트를 해결하기 위해.
• 중간 흐름 평균화에 의존하지 않고 보간 품질을 향상시키는 실시간 중간 흐름 추정 방법을 설계하기 위해.
• 새로운 누출 드리프트 기법을 사용하여 흐름 추정 네트워크의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 낮은 추론 지연을 유지하면서 영상 프레임 보간에서 최고 수준의 성능을 달성하기 위해.

제안 방법

• RIFE는 입력 프레임에서 굵기에서 잔인하게까지 직접 중간 흐름을 추정하는 딥 네ural 네트워크인 IFNet을 도입한다.
• 이 방법은 추정된 중간 흐름을 사용해 입력 프레임을 왜곡하여 특징 맵을 생성하고 융합한다.
• 엔드 투 엔드 훈련을 가능하게 하기 위해 누출 드리프트 메커니즘이 도입되어 흐름 추정 정확도가 향상된다.
• 이 프레임워크는 이중 방향 흐름 평균화를 피함으로써 움직임 경계에서의 아티팩트를 줄인다.
• 왜곡된 프레임에 특징 융합을 적용하여 최종 보간 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 영상 프레임 보간에서 이중 방향 흐름 평균화와 비교해 직접적인 중간 흐름 추정이 움직임 경계 아티팩트를 줄일 수 있는가?
• RQ2 엔드 투 엔드 학습이 가능한 흐름 추정 네트워크가 실시간 추론 속도로 높은 성능을 달성할 수 있는가?
• RQ3 제안된 누출 드리프트 기법이 영상 프레임 보간에서 흐름 추정 정확도를 향상시키는가?
• RQ4 기존의 흐름 기반 VFI 방법과 비교해 RIFE는 속도와 벤치마크 성능 면에서 어떻게 다른가?

주요 결과

• RIFE는 여러 영상 프레임 보간 벤치마크에서 최고 수준의 성능을 달성한다.
• 기존의 흐름 기반 VFI 접근 방식보다 훨씬 빠른 속도를 기록하여 실시간 추론을 가능하게 한다.
• 직접적인 중간 흐름 추정 덕분에 이중 방향 흐름 평균화에 의존하는 방법보다 움직임 경계에서 아티팩트가 줄어든다.
• 누출 드리프트의 사용은 효과적인 엔드 투 엔드 훈련을 가능하게 하여 흐름 추정 품질을 향상시킨다.