[논문 리뷰] Real-Time Intermediate Flow Estimation for Video Frame Interpolation

Zhewei Huang, Tianyuan Zhang외 3명|arXiv (Cornell University)|2020. 11. 12.

Advanced Vision and Imaging인용 수 23

한 줄 요약

이 논문은 사전에 학습된 광학 흐름 모델에 의존하지 않고 직접 중간 광학 흐름을 추정할 수 있는 엔드 투 엔드 학습 가능한 신경망인 IFNet을 사용하는 실시간 영상 프레임 보간 방법인 RIFE를 제안한다. 특별히, 사전 지식 기반 정규화 기반의 경량 IFBlocks와 함께 $3\times3$ 컨볼루션을 활용함으로써, SuperSlomo와 DAIN보다 4–27배 빠른 추론 속도를 기록하면서도 최신 기술 수준의 성능을 달성하며, 시간 인코딩을 통해 임의의 타임스텝 보간을 지원한다.

ABSTRACT

Real-time video frame interpolation (VFI) is very useful in video processing, media players, and display devices. We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for VFI. To realize a high-quality flow-based VFI method, RIFE uses a neural network named IFNet that can estimate the intermediate flows end-to-end with much faster speed. A privileged distillation scheme is designed for stable IFNet training and improve the overall performance. RIFE does not rely on pre-trained optical flow models and can support arbitrary-timestep frame interpolation with the temporal encoding input. Experiments demonstrate that RIFE achieves state-of-the-art performance on several public benchmarks. Compared with the popular SuperSlomo and DAIN methods, RIFE is 4--27 times faster and produces better results. Furthermore, RIFE can be extended to wider applications thanks to temporal encoding. The code is available at https://github.com/megvii-research/ECCV2022-RIFE.

연구 동기 및 목표

• 미디어 픲레이나 디스플레이 장치, 영상 스트리밍 등에 응용되는 실시간 고품질 영상 프레임 보간의 과제를 해결한다.
• 특히 운동 경계나 물체 이동이 발생하는 영역에서의 흐름 반전 및 사전에 학습된 광학 흐름 모델의 한계를 극복한다.
• 심도 모델이나 정밀화 네트워크와 같은 외부 구성 요소에 의존하지 않는 경량이며 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 시간 인코딩 입력을 통해 임의의 타임스텝 보간을 가능하게 하여 이진 보간을 넘는 적용 범위를 확장한다.
• 지식 정규화 기반의 교사-학생 모델 학습을 통해 중간 흐름 추정 정확도 향상과 함께 학습 안정성 및 성능 향상을 도모한다.

제안 방법

• 경량 IFBlocks(3×3 컨볼루션 및 디컨볼루션으로 구성됨)를 사용하여 계층적 흐름 필드와 소프트 포아지 마스크를 반복적으로 개선하는 계층적-세부적인 신경망인 IFNet을 제안한다.
• 지식 정규화 기반의 정규화 기반 학습 기법을 도입하여, 지식 정규화 기반의 교사 모델이 실제 중간 프레임을 알고 있는 조건에서 학생 모델(IFNet)을 지도함으로써 흐름 추정 정확도를 향상시킨다.
• 임의의 타임스텝 보간을 가능하게 하기 위해 시간 인코딩을 추가 입력으로 활용한다.
• 재구성 손실과 정규화 기반 중간 지도 학습을 조합하여 IFNet을 엔드 투 엔드로 학습함으로써, 픽셀 수준의 손실에만 의존하지 않는다.
• 비용이 많이 드는 연산인 커스텀 볼륨 또는 흐름 정밀화 모듈을 포함하지 않는 단순화된 아키텍처를 도입하여 자원 제약이 있는 장치에서도 효율성을 높인다.
• LPIPS와 유사한 시각적 품질 향상을 위해 $L_{Lap}$ 손실을 $\mathcal{L}_1$ 손실보다 우선 적용함으로써 정량적·정성적 결과를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 학습된 광학 흐름 모델이나 추가 구성 요소에 의존하지 않고도 경량의 엔드 투 엔드 신경망이 직접 중간 흐름을 추정할 수 있는가?
• RQ2 실제 중간 프레임을 알고 있는 교사 모델이 학생 모델을 지도하는 지식 정규화 기반 기법이, 단순히 재구성 손실만을 사용하는 표준 학습 방식보다 얼마나 효과적인가?
• RQ3 3×3 컨볼루션과 계층적-세부적인 개선 방식을 갖춘 제안된 IFNet 아키텍처는 기존의 흐름 반전 및 정밀화 방법 대비 속도와 정확도 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 시간 인코딩을 통합함으로써 임의의 타임스텝 보간에 일반화할 수 있으며, 고정된 보간 단계를 요구하는 기존 방법과 비교해 어떤가?
• RQ5 배치 정규화 및 손실 함수와 같은 아키텍처 선택 사항이 모델 성능과 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• RIFE는 Vimeo90K 및 HD-4× 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Vimeo90K에서 PSNR 35.61, LPIPS 1.96를 기록하여 SuperSlomo와 DAIN을 초월한다.
• RIFE는 SuperSlomo 및 DAIN보다 4–27배 빠른 속도를 기록하며, 고해상도 영상에서 최소 16ms의 추론 시간을 확보하여 실시간 배포가 가능하다.
• 지식 정규화 기반 기법은 학습 안정성과 성능 향상에 크게 기여하며, 제거 시 학습 발산 및 성능 저하가 발생하는 것으로 확인된 아블레이션 연구 결과가 있다.
• RAFT나 PWC-Net 기반의 흐름 반전 방법으로 IFNet을 대체할 경우, 운동 경계에서의 물체 이동 문제로 인해 성능이 열 劣화된다.
• $\mathcal{L}_1$ 손실 대비 $L_{Lap}$ 손실을 사용할 경우 정량적 결과가 향상되며, 이는 보간 프레임의 시각적 품질 향상을 입증한다.
• 동일한 흐름 및 융합 맵을 활용하여 MiDaS 기반 심도 맵 보간에도 응용 가능함을 보여주며, 모델 확장성이 뛰어나다.