[논문 리뷰] AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation

Zhen Li, Zuo-Liang Zhu외 4명|arXiv (Cornell University)|2023. 04. 19.

Advanced Vision and Imaging인용 수 4

한 줄 요약

AMT는 유사한 흐름 추정 정밀도와 다양성을 향상시키기 위해 모든 쌍 다중분야 변환을 사용하는 새로운 비디오 프레임 보간 네트워크를 제안한다. 이중 상관 벡터와 군집 흐름에서 유도된 다중 정밀 흐름 필드를 활용함으로써, 이전 방법보다 더 높은 효율성으로 최신 기술 수준(SOTA) 성능을 달성하며, Vimeo90K에서 IFRNet-L보다 +0.15 dB PSNR를 확보하면서도 FLOPs는 75% 감소하고 파라미터 수는 65% 감소시켰다.

ABSTRACT

We present All-Pairs Multi-Field Transforms (AMT), a new network architecture for video frame interpolation. It is based on two essential designs. First, we build bidirectional correlation volumes for all pairs of pixels, and use the predicted bilateral flows to retrieve correlations for updating both flows and the interpolated content feature. Second, we derive multiple groups of fine-grained flow fields from one pair of updated coarse flows for performing backward warping on the input frames separately. Combining these two designs enables us to generate promising task-oriented flows and reduce the difficulties in modeling large motions and handling occluded areas during frame interpolation. These qualities promote our model to achieve state-of-the-art performance on various benchmarks with high efficiency. Moreover, our convolution-based model competes favorably compared to Transformer-based models in terms of accuracy and efficiency. Our code is available at https://github.com/MCG-NKU/AMT.

연구 동기 및 목표

• 큰 운동량과 막힘 상황에서 기존의 흐름 기반 비디오 프레임 보간 방법의 한계를 해결하기 위해.
• 새로운 상관관계 및 정밀 조정 메커니즘을 도입하여 임무 중심 흐름의 정밀도와 다양성을 향상시키기 위해.
• 높은 효율성으로 최신 기술 수준 성능을 달성하여 정확도를 희생시키지 않은 채 계산 비용을 감소시키기 위해.
• 컨volution 기반 모델이 보간 작업에서 정확도와 효율성 면에서 Transformer 기반 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• AMT는 모든 픽셀 쌍 간의 이중 상관 벡터를 구성하여 흐름 추정 정밀도를 향상시키며, 특히 큰 운동량에 대해 유리하다.
• 상관 계산 중 가시하지 않은 프레임으로 인한 좌표 불일치 문제를 해결하기 위해 스케일드 룩업 전략을 적용한다.
• 모든 쌍 상관을 통해 다중 척도에서 양방향 흐름과 콘텐츠 특징을 함께 업데이트하여 척도 간 운동 일致성 향상.
• 단일 쌍의 군집 흐름에서 다수의 세밀한 흐름 필드 그룹을 유도하여 각 픽셀에 대해 다양한 워핑 후보 제공.
• 각 입력 프레임을 이러한 다중 흐름 필드를 사용해 별도로 후방 워핑하여 막힘 영역의 재구성 향상.
• 적응형 융합 메커니즘이 워핑된 특징과 잔차 보정을 통해 더 나은 디테일 복구와 텍스처 일관성 확보.

실험 결과

연구 질문

• RQ1 기존 VFI 방법들이 큰 운동량과 막힘 상황에서 정확한 흐름 추정을 어려워하는 이유는 무엇인가?
• RQ2 흐름 추정은 어떻게 개선되어야 하며, 실제 값과의 일致성과 국소적 디테일의 다양성을 동시에 확보할 수 있는가?
• RQ3 단일 군집 흐름 쌍이 다중 정밀 흐름 필드를 통해 개선되어 막힘과 같은 모호한 영역을 더 잘 다룰 수 있는가?
• RQ4 모든 쌍 상관은 척도 간 흐름 및 콘텐츠 특징 정밀 조정에 얼마나 기여하는가?
• RQ5 컨volution 기반 아키텍처가 보간 작업에서 정확도와 효율성 면에서 Transformer 기반 모델을 능가할 수 있는가?

주요 결과

• AMT는 Vimeo90K에서 최신 기술 수준 성능을 달성하여 IFRNet-L을 +0.15 dB PSNR 뛰어넘으며 FLOPs는 75% 감소하고 파라미터 수는 65% 감소시켰다.
• 소형 AMT-S 모델은 IFRNet-B를 +0.17 dB PSNR 뛰어넘으며 FLOPs와 파라미터 수는 각각 60%만 사용했다.
• 세 쌍의 흐름 필드를 사용할 경우 성능 향상이 두드러지며, 일곱 쌍에서 포화 상태에 도달함을 확인하여 더 큰 모델에서는 다섯 쌍에서 최적의 균형을 이룬다.
• 제거 실험 결과, 모든 쌍 상관이 흐름 및 콘텐츠 특징의 공동 정밀 조정에 필수적임을 입증하였으며, 이를 제거할 경우 PSNR가 급격히 감소한다.
• 다중 분야 정밀 조정은 막힘 처리 능력을 크게 향상시켜 움직이는 물체에 의해 가려진 배경 영역에서도 일관된 텍스처 복구를 가능하게 한다.
• 다중 워핑된 특징과 잔차 보정을 통한 적응형 융합은 평균 기반 또는 비잔차 변형보다 뛰어난 성능을 보이며, 각 프레임의 디테일 보정의 중요성을 입증한다.