[논문 리뷰] Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation

Guozhen Zhang, Yuhan Zhu외 4명|arXiv (Cornell University)|2023. 03. 01.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 통합적인 방식으로 운동 및 외관 특징을 명시적으로 추출하기 위해 프레임 간 어텐션을 활용하는 새로운 비디오 프레임 보간 방법인 EMA-VFI를 제안한다. 어텐션 맵을 통해 외관을 향상시키면서도 이를 운동 벡터 추정에 재사용함으로써 성능을 햖थ한다. 이 방법은 유사 모델 대비 낮은 계산 부하로 다수의 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Effectively extracting inter-frame motion and appearance information is important for video frame interpolation (VFI). Previous works either extract both types of information in a mixed way or elaborate separate modules for each type of information, which lead to representation ambiguity and low efficiency. In this paper, we propose a novel module to explicitly extract motion and appearance information via a unifying operation. Specifically, we rethink the information process in inter-frame attention and reuse its attention map for both appearance feature enhancement and motion information extraction. Furthermore, for efficient VFI, our proposed module could be seamlessly integrated into a hybrid CNN and Transformer architecture. This hybrid pipeline can alleviate the computational complexity of inter-frame attention as well as preserve detailed low-level structure information. Experimental results demonstrate that, for both fixed- and arbitrary-timestep interpolation, our method achieves state-of-the-art performance on various datasets. Meanwhile, our approach enjoys a lighter computation overhead over models with close performance. The source code and models are available at https://github.com/MCG-NJU/EMA-VFI.

연구 동기 및 목표

• 기존 VFI 방법들이 운동 및 외관 특징를 혼합하거나 별도의 모듈을 사용함으로써 표현의 모호성과 높은 계산 비용을 야기하는 한계를 해결하기 위해.
• 고정 및 임의의 타임스텝 생성을 위한 효율적이고 확장 가능하며 정확한 비디오 프레임 보간을 가능하게 하기 위해.
• 고해상도 입력에서 어텐션 오버헤드를 줄이기 위해 CNN과 트랜스포머를 하이브리드 아키텍처로 통합함으로써 세밀한 저수준 구조를 유지하기 위해.
• 단일 프레임 간 어텐션 메커니즘을 사용하여 운동 및 외관 특징 추출을 통합함으로써 중복 모듈을 방지하기 위해.

제안 방법

• 이 방법은 프레임 간 어텐션 맵을 특징 집합을 통해 외관 특징을 향상시키는 데 사용할 뿐 아니라, 이웃 특징의 가중 이동을 통해 운동 벡터를 추정하는 데도 재사용한다.
• 외관 특징는 시간적 이웃을 주시함으로써 정제되며, 운동 신호와 혼합되지 않은 채로 맥락 표현을 향상시킨다.
• 운동 특징는 어텐션 맵에서 직접 유도되며, 임의의 타임스텝 보간을 위한 확장 가능한 운동 신호를 제공한다.
• 하이브리드 CNN-Transformer 아키텍처를 사용한다: CNN은 고해상도 저수준 특징을 추출하고, 프레임 간 어텐션을 갖춘 트랜스포머 블록은 저해상도 특징을 처리하여 계산 비용을 줄인다.
• 운동 추정 및 외관 정제를 위한 경량 헤드를 사용하여 성능을 손상시키지 않으면서도 효율성을 확보한다.
• 트랜스포머 블록의 수와 복잡도를 조정하여 성능와 추론 속도 사이의 균형을 맞출 수 있어 확장 가능한 배포가 가능하다.

실험 결과

연구 질문

• RQ1 프레임 간 어텐션을 재사용하여 별도의 모듈 없이 동시에 외관 향상과 운동 표현을 추출할 수 있는가?
• RQ2 고해상도에서 프레임 간 어텐션을 효율적으로 적용하여 과도한 계산 비용을 피할 수 있는가?
• RQ3 어텐션 맵에서 추출한 운동 특징가 임의의 타임스텝 보간에 효과적으로 확장될 수 있는가?
• RQ4 하이브리드 CNN-Transformer 설계가 자세한 세부 구조를 유지하면서도 자기 어텐션의 계산 부담을 줄일 수 있는가?
• RQ5 최신 기술 수준의 VFI 모델과 비교해 성능 및 효율성에서 어떻게 성과를 내는가?

주요 결과

• EMA-VFI는 고정 및 임의의 타임스텝 보간 모두에서 Vimeo90K, Xiph-2K, Xiph-4K 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• Xiph-2K 데이터셋에서 PSNR 36.74와 SSIM 0.944를 기록하여 이전의 최신 기술 수준 모델을 초월한다.
• 임의의 타임스텝 보간에 운동 특징를 시그널로 사용하는 것이 시간 t를 직접 삽입하는 것보다 더 좋은 결과를 낸다. 런타임은 단 3ms 증가할 뿐이다.
• 트랜스포머 블록의 수나 채널 수를 두 배로 늘리면 성능이 크게 향상되며, 후자의 경우 더 높은 용량 덕분에 더 두드러진 성과를 보인다.
• 고해상도 단계에서 트랜스포머를 CNN으로 대체하면 성능이 떨어지고, 가장 낮은 스케일에서만 트랜스포머를 사용하는 것은 정확도에 상당한 하락을 초래함으로써 다중 스케일 어텐션의 필요성을 확인한다.
• HD(720p) 해상도에서 추론 시간이 30ms로 매우 낮게 유지되어, 유사하거나 더 뛰어난 정확도를 가진 모델들보다 계산 효율성이 뛰어나다.