[논문 리뷰] Boost Video Frame Interpolation via Motion Adaptation

Haoning Wu, Xiaoyun Zhang외 3명|arXiv (Cornell University)|2023. 06. 24.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 사전 훈련된 VFI 모델에 경량 어댑터를 통합하여 테스트 시 동작을 보정하는 cycle-consistency adaptation 전략을 제안한다. 이는 테스트 동안의 비디오 프레임 간섭성(VFI) 성능을 햖थ히 향상시키기 위해 비디오 프레임 간 운동 추정을 정밀하게 보완한다. 이전에 훈련된 VFI 모델에 경량 어댑터를 삽입함으로써, 전체 모델을 재학습하지 않고도 4% 미만의 추가 파라미터로 효율적인 실시간 최적화를 가능하게 하며, 일반화 능력이 크게 향상되고, 추가 입력 프레임을 사용하는 최신 기법들조차도 능가하는 성능을 달성한다.

ABSTRACT

Video frame interpolation (VFI) is a challenging task that aims to generate intermediate frames between two consecutive frames in a video. Existing learning-based VFI methods have achieved great success, but they still suffer from limited generalization ability due to the limited motion distribution of training datasets. In this paper, we propose a novel optimization-based VFI method that can adapt to unseen motions at test time. Our method is based on a cycle-consistency adaptation strategy that leverages the motion characteristics among video frames. We also introduce a lightweight adapter that can be inserted into the motion estimation module of existing pre-trained VFI models to improve the efficiency of adaptation. Extensive experiments on various benchmarks demonstrate that our method can boost the performance of two-frame VFI models, outperforming the existing state-of-the-art methods, even those that use extra input.

연구 동기 및 목표

• 학습 데이터의 도메인 갭으로 인해 기계학습 기반 VFI 모델의 일반화 능력이 제한되는 문제를 해결하기 위해.
• 복잡하거나 대규모 운동을 포함한 unseen 비디오에서 VFI 성능을 향상시키기 위해.
• 모든 모델을 재학습하지 않고도 효율적인 테스트 시 보정을 가능하게 하기 위해.
• 최소한의 파라미터 오버헤드로 운동 추정을 향상시키는 즉시 사용 가능한 어댑터를 설계하기 위해.
• 기존 SOTA 기법들, 특히 추가 입력 프레임을 사용하는 기법들보다도 뛰어난 성능을 달성하기 위해.

제안 방법

• 삼중 비디오 시퀀스(예: 프레임 t-1, t, t+1)에서의 프레임 간 일관성을 활용하여 추론 중 운동 추정을 정밀하게 보정하는 cycle-consistency adaptation 전략을 제안한다.
• 운동 흐름 간의 일관성과 가역성을 보장하기 위해 cycle-consistency 손실을 사용함으로써, 운동 필드 정확도를 향상시킨다.
• 기존 사전 훈련된 VFI 모델의 운동 추정 헤드에 삽입할 수 있는 경량의 플러그인 어댑터 모듈을 도입한다.
• 테스트 시 보정 중에 모델 파라미터의 소수(<4%)만을 미세조정함으로써, 계산 비용을 크게 감소시킨다.
• 각 비디오의 특정 운동 특성에 맞게 테스트 시퀀스에서 엔드 투 엔드 최적화를 수행하여 운동 필드를 적응시킨다.
• 적응 전후의 운동 필드를 시각화하여, 보다 매끄럽고 정밀한 에지 추정이 이루어졌음을 정성적으로 검증한다.

실험 결과

연구 질문

• RQ1 테스트 시 운동 보정이 unseen 비디오 분포에서 VFI 모델의 일반화 능력을 향상시키는가?
• RQ2 Cycle-consistency 기반 보정이 복잡하거나 대규모 운동에 대해 운동 필드를 얼마나 효과적으로 정밀화하는가?
• RQ3 경량 어댑터가 전체 미세조정에 비해 성능은 유사하게 유지하면서도 인퍼런스 비용을 크게 줄일 수 있는가?
• RQ4 제안된 방법이 추가 입력 프레임을 사용하는 SOTA VFI 모델들보다도 뛰어난 성능을 보이는가?
• RQ5 아키텍처 변경 없이 다양한 사전 훈련된 VFI 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• Cycle-consistency adaptation은 다양한 벤치마크에서 일관되게 PSNR와 SSIM을 향상시키며, Vimeo90K에서 최대 1.2 dB의 PSNR 향상과 0.012의 SSIM 향상을 기록한다.
• 플러그인 어댑터는 적응을 위한 학습 가능한 파라미터 수를 원래 모델의 4% 미만으로 줄여, 효율적인 테스트 시 튜닝을 가능하게 한다.
• 플러그인 어댑터를 사용한 적응은 엔드 투 엔드 미세조정 대비 약 2배 빠른 적응 시간을 기록하면서도 유사한 성능을 유지한다.
• DAVIS 데이터셋에서, 이 방법은 시각적 왜곡을 감소시키고, 특히 대규모 또는 복잡한 운동이 있는 경우 구조적 명료도를 향상시킨다.
• 모든 평가된 벤치마크에서, 추가 입력 프레임을 사용하는 SOTA VFI 모델들조차도 능가하는 성능을 기록한다.
• 운동 필드 시각화 결과, 적응된 모델이 더 매끄럽고 정확한 운동 필드를 생성하며, 더 높은 품질의 프레임 합성을 이끌어낸다.