[논문 리뷰] All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling

Zhixiang Chi, Rasoul Mohammadi Nasiri외 4명|arXiv (Cornell University)|2020. 07. 23.

Advanced Vision and Imaging참고 문헌 29인용 수 5

한 줄 요약

이 논문은 시간적 피라미드 구조를 사용하여 다중 중간 프레임을 동시에 최적화하는 일회성, 시간적으로 적응적인 다중 프레임 보간 네트워크를 제안한다. 이로 인해 고품질이고 시간적으로 일관된 결과를 달성할 수 있다. 복잡한 입체 운동 모델링과 유연한 손실 함수를 도입하여 광학 흐름 추정을 향상시켰으며, Adobe240 데이터셋에서 최신 기술 대비 1.57 dB 높은 PSNR를 달성했고, 모델 크기는 8배 작아지고 추론 속도는 7.7배 빨라졌다.

ABSTRACT

Recent advances in high refresh rate displays as well as the increased interest in high rate of slow motion and frame up-conversion fuel the demand for efficient and cost-effective multi-frame video interpolation solutions. To that regard, inserting multiple frames between consecutive video frames are of paramount importance for the consumer electronics industry. State-of-the-art methods are iterative solutions interpolating one frame at the time. They introduce temporal inconsistencies and clearly noticeable visual artifacts. Departing from the state-of-the-art, this work introduces a true multi-frame interpolator. It utilizes a pyramidal style network in the temporal domain to complete the multi-frame interpolation task in one-shot. A novel flow estimation procedure using a relaxed loss function, and an advanced, cubic-based, motion model is also used to further boost interpolation accuracy when complex motion segments are encountered. Results on the Adobe240 dataset show that the proposed method generates visually pleasing, temporally consistent frames, outperforms the current best off-the-shelf method by 1.57db in PSNR with 8 times smaller model and 7.7 times faster. The proposed method can be easily extended to interpolate a large number of new frames while remaining efficient because of the one-shot mechanism.

연구 동기 및 목표

• 단일 프레임씩 생성하는 반복적 다중 프레임 보간 방법에서 발생하는 시간적 불일치와 시각적 잡음 문제를 해결하기 위해.
• 가속도가 변하는 비선형 실세계 운동을 포착하는 데에 한계가 있는 선형 또는 이차 운동 모델의 한계를 극복하기 위해.
• 모든 중간 프레임을 동시에 최적화하는 단일 네트워크 기반의 일회성 프레임워크를 설계하여 시간적 일관성과 보간 품질 향상을 보장하기 위해.
• 모델 크기와 추론 시간을 줄여 모바일 및 임베디드 장치에의 구현 가능성을 확보하여 실세계 응용 분야에서 고품질 프레임 보간을 실현 가능하게 하기 위해.
• 지표값에서의 미세한 위치 이격을 허용함으로써 정확도를 높이고, 보다 견고한 운동 예측 성능을 확보하기 위해 광학 흐름 추정에 대해 완화된 손실 함수를 도입하기 위해.

제안 방법

• 더 쉬운 중간 프레임(입력 프레임에 가까운)은 얕은 서브넷으로 처리하고, 더 어려운 프레임(시간적으로 더 먼)은 깊은 서브넷으로 처리하는 시간적 피라미드 네트워크 아키텍처를 제안하여 적응형이고 동시 최적화를 가능하게 한다.
• 선형 또는 이차 모델보다 비선형 운동 경향, 특히 가속도 변화를 더 잘 포착할 수 있도록 입체 기반 운동 모델을 활용한다.
• 예측된 흐름 벡터가 참값 위치의 이웃으로 매핑될 수 있도록 허용하는 유연한 손실 함수를 도입하여, 보다 견고한 예측 성능과 중간 프레임의 운동 예측 정확도 향상을 달성한다.
• I₀, I₁ 등 여러 입력 프레임을 활용하여 운동 추정 및 보간 품질을 향상시키며, 두 프레임 이상의 시간적 맥락을 효과적으로 활용한다.
• 모든 중간 프레임을 단일 순방향 전파 과정에서 생성하도록 네트워크를 설계하여 반복적 방법에서 흔히 발생하는 오차 전파 및 시간적 진동 문제를 제거한다.
• 아키텍처 설계와 손실 함수 최적화를 통해 모델 효율성을 높여 파rameter 수를 줄이고 추론 속도를 빠르게 하여 높은 성능를 달성한다.

실험 결과

연구 질문

• RQ1 일회성, 엔드 투 엔드 다중 프레임 보간 네트워크는 반복적, 프레임 단위 처리 방법보다 더 뛰어난 시간적 일관성을 달성할 수 있는가?
• RQ2 특히 복잡한 운동 상황에서 입체 운동 예측이 선형 또는 이차 모델 대비 보간 품질을 얼마나 향상시키는가?
• RQ3 광학 흐름 추정에 적용된 유연한 손실 함수는 운동 예측 정확도와 최종 보간 품질을 얼마나 향상시키는가?
• RQ4 생성 난이도에 따라 적응 가능한 피라미드형 시간적 구조는 다중 프레임 보간의 품질과 효율성을 향상시키는가?
• RQ5 이를 통해 모델 크기를 크게 줄이고 추론 속도를 빠르게 하여 모바일 장치에서 실시간 구현이 가능한 최고 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 Adobe240 데이터셋에서 최신 기술 [26] 대비 1.57 dB 높은 PSNR를 달성하여 뛰어난 보간 품질을 입증했다.
• 모델 크기는 [26]의 12.5%에 불과하지만 더 높은 성능를 유지함으로써 뚜렷한 효율성 향상을 보였다.
• 8개 이상의 프레임을 보간할 경우 추론 속도가 [26] 대비 7.7배 더 빠르며, 실시간 응용 분야에 매우 적합하다.
• 유연한 손실 함수는 초기 흐름 추정 성능는 약간 저하되지만 중간 프레임의 운동 예측 정확도를 향상시켜 최종 보간 결과를 향상시킨다.
• 시간적 피라미드 구조는 중간 프레임의 보간 품질을 향상시켜 모든 중간 프레임을 동시에 최적화할 수 있도록 하였으며, 이는 분석 실험에서 입증되었다.
• 일괄적, 확장 가능한 아키텍처 덕분에 대량의 프레임을 보간할 경우에도 높은 성능와 효율성을 유지한다.