[논문 리뷰] IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation

Lingtong Kong, Boyuan Jiang외 6명|arXiv (Cornell University)|2022. 05. 29.

Advanced Vision and Imaging인용 수 6

한 줄 요약

IFRNet는 효율적인 비디오 프레임 보간을 위해 중간 광학 흐름과 중간 특징을 동시에 정련하는 경량이며 단일 인코더-디코더 아키텍처를 제안한다. 이는 빠른 추론과 최소한의 파라미터로 최신 기술 수준의 정확도를 달성한다. 흐름과 특징 정련을 통합된 네트워크에 통합하고, 작업 중심의 흐름 정규화 및 기하학적 일관성 정규화를 도입함으로써 IFRNet은 이전 방법들보다 속도, 정확도 및 모델의 압축성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Prevailing video frame interpolation algorithms, that generate the intermediate frames from consecutive inputs, typically rely on complex model architectures with heavy parameters or large delay, hindering them from diverse real-time applications. In this work, we devise an efficient encoder-decoder based network, termed IFRNet, for fast intermediate frame synthesizing. It first extracts pyramid features from given inputs, and then refines the bilateral intermediate flow fields together with a powerful intermediate feature until generating the desired output. The gradually refined intermediate feature can not only facilitate intermediate flow estimation, but also compensate for contextual details, making IFRNet do not need additional synthesis or refinement module. To fully release its potential, we further propose a novel task-oriented optical flow distillation loss to focus on learning the useful teacher knowledge towards frame synthesizing. Meanwhile, a new geometry consistency regularization term is imposed on the gradually refined intermediate features to keep better structure layout. Experiments on various benchmarks demonstrate the excellent performance and fast inference speed of proposed approaches. Code is available at https://github.com/ltkong218/IFRNet.

연구 동기 및 목표

• 연속된 아키텍처를 사용하고 별도의 흐름 및 합성 네트워크를 갖는 기존의 광학 흐름 기반 비디오 프레임 보간 방법의 비효율성과 높은 지연 문제를 해결하기 위해.
• 복잡한 동적 환경에서 정확도를 유지하거나 향상시키면서 모델 복잡성과 추론 지연을 줄이기 위해.
• 추가적인 합성 또는 정련 모듈이 필요 없도록, 단일 네트워크 내에서 중간 흐름과 특징 정련 간 상호 강화를 가능하게 하기 위해.
• 운동 추정과 중간 특징의 구조 일관성에 맞게 조정된 새로운 손실 함수를 통해 감독을 향상시키기 위해.

제안 방법

• 흐름과 합성 네트워크를 대체하는 통합 인코더-디코더 아키텍처를 제안하여 양방향 중간 흐름 필드와 중간 특징을 동시에 정련한다.
• 입력 프레임에서 피라미드 특징을 추출한 후, 디코더에서 흐름 및 특징 표현을 굵기에서 세밀함으로 정련한다.
• 교수 모델에서 유용한 지식에 자동으로 집중하는 작업 중심의 흐름 정규화 손실을 도입하여 정확도와 강건성을 향상시킨다.
• 실제 중간 특징을 사용하여 재구성된 특징을 제약하는 기하학적 일관성 정규화 손실을 적용하여 구조적 레이아웃을 유지한다.
• 학습 가능한 머지 마스크를 갖춘 다중 해상도 워핑 메커니즘을 통해 왜곡된 입력 프레임을 결합하고, 잃어버린 세부 정보를 복원하기 위한 잔여 정련 헤드를 적용한다.
• 흐름, 특징, 마스크 예측에 공유된 인코더-디코더 구성 요소를 활용하여 파라미터 효율성과 추론 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 네트워크 내에서 중간 흐름과 중간 특징을 동시에 정련하는 것이 연속된 흐름 및 합성 파이프라인보다 더 나은 성능을 낼 수 있는가?
• RQ2 대규모 데이터 증강에 의존하지 않고도 중간 흐름 추정에 대한 감독을 어떻게 향상시킬 수 있는가?
• RQ3 기하학적 일관성 정규화가 보간된 프레임에서 구조적 정밀도를 어느 정도 향상시킬 수 있는가?
• RQ4 가벼운 단일 인코더-디코더 아키텍처가 정확도와 추론 속도 면에서 복잡한 다중 브랜치 모델을 능가할 수 있는가?

주요 결과

• IFRNet는 Vimeo90K 벤치마크에서 최신 기술 수준의 성능을 달성하여, 보간 오차(IE) 및 정규화된 보간 오차(NIE) 지표에서 이전 최신 기술 수준의 방법들을 능가한다.
• 큰 크기의 IFRNet 모델은 RIFE 및 DAIN과 같은 이전 최신 기술 수준 알고리즘보다 수 차례 더 빠른 속도로 실행되어 뛰어난 추론 속도를 보여준다.
• 제안된 작업 중심의 흐름 정규화 손실은 특히 큰 운동 또는 가림 영역에서 흐름 추정의 강건성을 향상시키며, 흐름 마스크의 시각적 분석을 통해 이를 입증한다.
• 기하학적 일관성 정규화는 구조적 레이아웃 유지에 크게 기여하며, 실제 값과의 평균 특징 맵 비교를 통해 더 나은 정렬을 보여준다.
• IFRNet는 최소한의 파라미터와 추론 지연으로 고품질 결과를 달성하여 실시간 및 모바일 애플리케이션에 적합하다.
• 시각적 비교 결과, 특히 운동 블러와 가림이 있는 도전적인 장면에서 IFRNet는 기준 방법들보다 더 선명한 운동 경계와 더 나은 텍스처 세부 정보를 생성한다.