[논문 리뷰] Video Interpolation via Generalized Deformable Convolution

Zhihao Shi, Xiaohong Liu외 3명|arXiv (Cornell University)|2020. 08. 24.

Advanced Vision and Imaging참고 문헌 53인용 수 12

한 줄 요약

이 논문은 비디오 보간을 위한 일반화된 변형 가능 컨볼루션을 제안하며, 유동 기반 및 커널 기반 방법의 한계를 극복하기 위해 데이터 기반의 운동 모델링과 유연한 시공간 샘플링을 가능하게 한다. 이 방법은 데이터로부터 직접 적응형 샘플링 패턴을 학습함으로써 복잡한 운동 시퀀스에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video interpolation aims at increasing the frame rate of a given video by synthesizing intermediate frames. The existing video interpolation methods can be roughly divided into two categories: flow-based methods and kernel-based methods. The performance of flow-based methods is often jeopardized by the inaccuracy of flow map estimation due to oversimplified motion models while that of kernel-based methods tends to be constrained by the rigidity of kernel shape. To address these performance-limiting issues, a novel mechanism named generalized deformable convolution is proposed, which can effectively learn motion information in a data-driven manner and freely select sampling points in space-time. We further develop a new video interpolation method based on this mechanism. Our extensive experiments demonstrate that the new method performs favorably against the state-of-the-art, especially when dealing with complex motions.

연구 동기 및 목표

• 간단한 운동 모델로 인해 유동 지도 추정이 정확하지 않을 경우 발생하는 유동 기반 비디오 보간의 성능 저하 문제를 해결한다.
• 복잡한 운동을 모델링하는 데 한계가 있는 커널 기반 방법의 커널 형태의 강성 문제를 해결한다.
• 비디오 데이터로부터 직접 운동 정보를 학습하는 유연하고 데이터 기반의 메커니즘을 개발한다.
• 공간과 시간 모두에서 샘플링 포인트를 자유롭게 선택할 수 있는 비디오 보간 프레임워크를 설계한다.
• 특히 복잡한 운동 패턴을 포함한 도전적인 비디오 보간 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 공간적 및 시간적 차원에서 끝에서 끝까지 미분 가능한 방식으로 샘플링 오프셋을 학습하는 새로운 메커니즘으로 일반화된 변형 가능 컨볼루션을 제안한다.
• 네트워크가 입력 콘텐츠와 운동 맥락에 기반해 어디에서 특징을 샘플링할지를 예측함으로써 동적이고 적응형 샘플링을 가능하게 한다.
• 일반화된 변형 가능 컨볼루션을 비디오 보간 아키텍처에 통합하여 고품질의 중간 프레임을 합성한다.
• 명시적인 유동 추정에 의존하지 않고도 비균일한 복잡한 운동을 모델링하기 위해 샘플링 메커니즘의 유연성을 활용한다.
• 재구성 손실을 사용하여 중간 프레임 합성 최적화를 위해 모델을 엔드 투 엔드로 훈련한다.
• 고정된 운동 모델이나 고정된 커널 형태에 대한 가정을 피하기 위해 샘플링 오프셋을 통해 운동 표현을 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 복잡한 운동 조건에서 기존의 유동 기반 방법에 비해 데이터 기반 샘플링 메커니즘이 더 나은 성능을 내는가?
• RQ2 시공간 샘플링 포인트를 자유롭게 선택할 수 있도록 허용하면 고정되거나 강성 있는 커널 형태에 비해 보간 품질이 향상되는가?
• RQ3 대규모 또는 비균일한 운동을 포함한 도전적인 비디오 시퀀스에서 제안된 일반화된 변형 가능 컨볼루션의 성능은 어떠한가?
• RQ4 명시적인 유동 감독 없이도 다양한 비디오 콘텐츠에 일반화 가능한가?
• RQ5 적응형 샘플링이 보간 프레임의 시각적 품질과 정량적 지표에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 표준 비디오 보간 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 복잡한 운동을 포함한 시퀀스에서 뛰어난 성능을 보인다.
• 일반화된 변형 가능 컨볼루션은 데이터 기반 방식으로 운동 정보를 효과적으로 학습하여 정확하지 않은 유동 지도에 대한 의존도를 감소시킨다.
• 기존의 유동 기반 방법이 운동 복잡성으로 인해 실패하는 도전적인 시퀀스에서도 뛰어난 일반화 성능을 보인다.
• 적응형 샘플링의 유연성 덕분에 더 높은 시각적 품질과 FID, LPIPS와 같은 정량적 지표 향상이 이루어진다.
• 복잡한 운동 패턴을 모델링하는 데 있어 고정된 커널 형태의 한계를 극복함으로써 커널 기반 방법보다 더 나은 결과를 달성한다.
• 광범위한 아블레이션 연구를 통해 제안된 메커니즘이 다양한 운동 유형에 걸쳐 보간 정확도와 내성 강도를 크게 향상시킨다는 것이 확인되었다.