[논문 리뷰] Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

Junheum Park, Chul Lee외 1명|arXiv (Cornell University)|2021. 08. 15.

Advanced Vision and Imaging참고 문헌 42인용 수 4

한 줄 요약

이 논문은 대칭 이중 운동 추정을 개선하기 위해 중간 锚점 프레임에서의 비대칭 운동 벡터를 사용하여 대칭 이중 운동 장을 정밀하게 보정하는 새로운 비디오 프레임 보간 방법인 비대칭 이중 운동 추정(ABME)을 제안한다. 동적 필터링과 잔차 보정을 결합함으로써 ABME는 Vimeo90K에서 최대 2 dB, 도전적인 서브셋에서는 1 dB까지 기존 방법을 초월하는 최신 기술 성능을 달성한다.

ABSTRACT

We propose a novel video frame interpolation algorithm based on asymmetric bilateral motion estimation (ABME), which synthesizes an intermediate frame between two input frames. First, we predict symmetric bilateral motion fields to interpolate an anchor frame. Second, we estimate asymmetric bilateral motions fields from the anchor frame to the input frames. Third, we use the asymmetric fields to warp the input frames backward and reconstruct the intermediate frame. Last, to refine the intermediate frame, we develop a new synthesis network that generates a set of dynamic filters and a residual frame using local and global information. Experimental results show that the proposed algorithm achieves excellent performance on various datasets. The source codes and pretrained models are available at https://github.com/JunHeum/ABME.

연구 동기 및 목표

• 대칭 이중 운동 모델의 고정된 선형 운동 제약으로 인해 발생하는 비디오 프레임 보간의 운동 추정 정확도 저하 문제를 해결한다.
• 후방 워핑을 활용하여 전방 및 후방 워핑의 한계, 특히 구멍과 겹침 아티팩트를 극복한다.
• 비선형 궤적을 가지는 비디오에서 대칭 운동 모델이 실패하는 영역, 특히 가림 영역과 운동 경계 영역의 보간 품질을 향상시킨다.
• 지역적 특징을 사용해 동적 필터를 생성하고 전역적 맥락 특징을 활용해 재구성하는 합성 네트워크를 개발하여 아티팩트와 노이즈를 줄인다.
• 빠르게 움직이는 동작과 가림이 있는 다양한 데이터셋, 특히 도전적인 시퀀스에서도 최신 기술 성능을 달성한다.

제안 방법

• 입력 프레임 간의 대칭 이중 운동 장을 예측하여 후방 워핑을 통해 중간 锚점 프레임을 생성한다.
• 锚점 프레임에서 입력 프레임 양쪽으로 비대칭 이중 운동 장을 추정함으로써 선형 운동 제약을 완화하여 비선형 궤적을 더 잘 모델링한다.
• 비대칭 운동 장을 사용해 입력 프레임을 후방 워핑하여 재구성에 사용할 후보 워핑 프레임을 생성한다.
• 두 개의 하위 네트워크를 가진 합성 네트워크를 설계한다: FilterNet은 국소적 특징을 사용해 후보 워핑 프레임에 가중치를 주는 동적 필터를 생성하고, RefineNet은 전역적 맥락을 사용해 잔차 프레임을 재구성한다.
• 비대칭 운동 보정 모듈에 학습 가능한 신뢰도 마스크와 오프셋 맵을 통합하여 어려운 영역에서의 운동 정확도를 향상시킨다.
• 학습된 동적 필터를 사용해 대칭 및 비대칭 워핑 프레임 후보들을 융합하고, 맥락 특징 맵을 통해 출력을 보정하여 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 비대칭 이중 운동 추정은 대칭 모델 대비 비디오 프레임 보간에서 운동 정확도를 향상시킬 수 있는가?
• RQ2 선형 운동 제약을 완화함으로써 가림 및 운동 경계 영역에서의 보간 품질에 어떤 영향을 미치는가?
• RQ3 다중 워핑 입력을 융합할 때 동적 필터와 잔차 보정이 얼마나 효과적으로 영향을 미치는가?
• RQ4 신뢰도 마스크와 오프셋 맵은 비대칭 운동 장을 보정하는 데 어떤 기여를 하는가?
• RQ5 대칭 및 비대칭 워핑 프레임 후보를 함께 사용할 경우, 각각을 별도로 사용할 때보다 성능 향상이 이루어지는가?

주요 결과

• 제안된 ABME 방법은 Vimeo90K 데이터셋에서 최신 기술 성능을 달성하였으며, Easy 및 Medium 서브셋에서 기존 방법보다 최대 2 dB까지 PSNR 향상을 기록했다.
• Hard 및 Extreme 서브셋에서는 기존 최고 성능 방법보다 최소 1 dB 향상되어 도전적인 운동 패tern에 대한 강건성을 입증했다.
• 대칭 및 비대칭 워핑 프레임 후보를 조합한 결과가 가장 우수했으며, Vimeo90K에서 PSNR 36.18을 기록했고, 대칭 전용(35.91) 및 비대칭 전용(36.05) 설정보다 뛰어난 성능을 보였다.
• ABMR-Net의 신뢰도 마스크와 오프셋 맵은 각각 Vimeo90K에서 PSNR를 0.49 dB 및 0.52 dB 향상시키며 상당한 기여를 하였다.
• RefineNet에 필터링된 특징 맵($\widetilde{C}_t$)을 포함시킴으로써 재구성 성능이 0.1 dB 향상되었으며, 노이즈 감소 및 맥락 인식 복원 기능을 확인했다.
• 시각적 분석 결과, ABME는 대칭 또는 근사 운동 모델 대비 움직이는 물체 및 가림 영역 주변의 아티팩트와 오류를 줄였으며, 특히 빠른 운동 시퀀스에서 뚜렷한 개선을 보였다.