[논문 리뷰] BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

Junheum Park, Keunsoo Ko외 2명|arXiv (Cornell University)|2020. 07. 17.

Advanced Vision and Imaging참고 문헌 34인용 수 12

한 줄 요약

이 논문은 양방향 운동 네트워크와 양방향 비용 볼륨을 사용하여 정확한 정방향 및 역방향 운동을 추정함으로써 중간 프레임 합성 성능을 향상시키는 딥러닝 기반 영상 보간 방법인 BMBC를 제안한다. 이 방법은 이러한 양방향 운동을 통해 생성된 여섯 개의 왜곡 프레임을 동적 필터 생성 네트워크를 통해 조합하여, UCF101에서 35.15 dB PSNR, Vimeo90K에서 35.01 dB PSNR를 기록하며 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video interpolation increases the temporal resolution of a video sequence by synthesizing intermediate frames between two consecutive frames. We propose a novel deep-learning-based video interpolation algorithm based on bilateral motion estimation. First, we develop the bilateral motion network with the bilateral cost volume to estimate bilateral motions accurately. Then, we approximate bi-directional motions to predict a different kind of bilateral motions. We then warp the two input frames using the estimated bilateral motions. Next, we develop the dynamic filter generation network to yield dynamic blending filters. Finally, we combine the warped frames using the dynamic blending filters to generate intermediate frames. Experimental results show that the proposed algorithm outperforms the state-of-the-art video interpolation algorithms on several benchmark datasets.

연구 동기 및 목표

• 영상 보간에서 정확하지 못한 중간 운동 추정으로 인해 발생하는 구멍, 흐림 등의 아티팩트 문제를 해결한다.
• 유동 근사에 의존하는 대신 직접적으로 양방향 운동을 학습하여 운동 추정 정확도를 향상시킨다.
• 동적 블렌딩 필터를 사용해 다수의 왜곡 프레임을 조합함으로써 프레임 합성 품질을 향상시킨다.
• 정방향 왜곡(구멍, 겹침)과 역방향 왜곡(운동 오차에 민감함)의 한계를 극복하기 위해 강력한 양방향 운동 모델링을 통해 구현한다.
• 운동 추정, 특징 왜곡, 적응형 필터링을 통합한 단일 프레임워크를 개발하여 고품질 영상 보간을 실현한다.

제안 방법

• 기준 프레임와 대상 프레임 간의 매칭 정확도를 향상시키기 위해 양방향 비용 볼륨을 사용하는 양방향 운동 네트워크를 제안한다.
• 직접 양방향 운동 예측에서 유도된 두 개의 중간 운동 후보와 유사한 정방향/역방향 유동에서 유도된 네 개의 후보를 포함해 총 여섯 개의 중간 운동 후보를 추정한다.
• 여섯 개의 추정된 양방향 운동을 사용해 입력 프레임과 그들의 컨텍스트 맵을 왜곡하여 여섯 개의 왜곡된 특징 쌍을 생성한다.
• 왜곡된 프레임과 컨텍스트 맵에서 공간적으로 적응형 블렌딩 필터를 학습하는 동적 필터 생성 네트워크를 설계한다.
• 학습된 동적 필터를 사용해 여섯 개의 왜곡된 프레임을 중첩하여 최종 중간 프레임을 생성한다.
• 기하학적 구조 복구와 컨텍스트 일관성을 향상시키기 위해 컨텍스트 맵을 필터 생성 네트워크의 추가 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 표준 비용 볼륨에 비해 양방향 비용 볼륨이 영상 보간에서 양방향 운동 추정 정확도를 향상시키는가?
• RQ2 유동 기반 근사와 비교할 때 직접적인 양방향 운동 추정의 보간 품질과 내성에 대한 영향은 어떠한가?
• RQ3 동적 블렌딩 필터를 사용해 다수의 왜곡 프레임(여섯 후보)을 통합할 경우 최종 프레임 품질에 어떤 영향을 미치는가?
• RQ4 동적 필터 네트워크에 추가 입력(입력 프레임 및 컨텍스트 맵)이 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 방법이 다양한 데이터셋과 프레임 레이트에서 기존 최신 기술 수준(SOTA) 알고리즘을 초월하는가?

주요 결과

• 제안된 BMBC 방법은 UCF101 데이터셋에서 35.15 dB PSNR, Vimeo90K 데이터셋에서 35.01 dB PSNR를 기록하여 모든 최신 기술 수준(SOTA) 방법을 능가한다.
• 절단 분석 결과, 양방향 운동 추정(BM)과 운동 근사(Appx4)를 모두 사용할 경우 가장 높은 성능를 기록하며, Appx4 단독 사용 대비 0.16 dB 향상된 성능를 확보한다.
• 입력 프레임을 추가 컨텍스트로 사용할 경우, UCF101에서 PSNR가 0.10 dB, Vimeo90K에서 0.15 dB 향상되며 동적 필터 생성 네트워크의 성능 향상을 입증한다.
• 필터 네트워크에 컨텍스트 맵을 추가로 제공할 경우 UCF100에서 0.07 dB, Vimeo90K에서 0.05 dB 성능 향상이 이루어져 구조적 세부 정보 유지에 기여함을 입증한다.
• 높은 화면 갱신 레이트에서 성능 향상이 더욱 두드러지며, Adobe240-fps에서 8배 보간(t=0.125, 0.25, 0.375 등) 시에 뚜렷한 향상이 관찰된다.
• 회전하는 바퀴 시퀀스의 시각적 결과에서 BMBC는 기준 방법 대비 더 정확하게 미세한 질감과 운동 세부 정보를 재구성함을 확인할 수 있다.