[논문 리뷰] MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement

Wenbo Bao, Wei‐Sheng Lai외 3명|arXiv (Cornell University)|2018. 10. 20.

Advanced Vision and Imaging참고 문헌 59인용 수 32

한 줄 요약

이 논문은 영상 프레임 보간 및 향상에 대해 운동 추정과 운동 보정을 동시에 학습하는 딥 뉴럴 네트워크인 MEMC-Net을 제안한다. 온전히 미분 가능한 적응형 워핑 레이어를 도입하여 광학 흐름과 보간 커널을 결합함으로써, 보간, 초해상도, 노이즈 제거, 블록 아티팩트 제거에서 최신 기술 수준의 성능을 달성하였으며, 계산 효율성과 시각적 품질이 향상되었다.

ABSTRACT

Motion estimation (ME) and motion compensation (MC) have been widely used for classical video frame interpolation systems over the past decades. Recently, a number of data-driven frame interpolation methods based on convolutional neural networks have been proposed. However, existing learning based methods typically estimate either flow or compensation kernels, thereby limiting performance on both computational efficiency and interpolation accuracy. In this work, we propose a motion estimation and compensation driven neural network for video frame interpolation. A novel adaptive warping layer is developed to integrate both optical flow and interpolation kernels to synthesize target frame pixels. This layer is fully differentiable such that both the flow and kernel estimation networks can be optimized jointly. The proposed model benefits from the advantages of motion estimation and compensation methods without using hand-crafted features. Compared to existing methods, our approach is computationally efficient and able to generate more visually appealing results. Furthermore, the proposed MEMC-Net can be seamlessly adapted to several video enhancement tasks, e.g., super-resolution, denoising, and deblocking. Extensive quantitative and qualitative evaluations demonstrate that the proposed method performs favorably against the state-of-the-art video frame interpolation and enhancement algorithms on a wide range of datasets.

연구 동기 및 목표

• 큰 운동에 민감하거나 흐릿한 결과를 낳는 기존의 학습 기반 영상 프레임 보간 방법들이 광학 흐름이나 보상 커널 중 하나만 추정하는 데서 비롯되는 한계를 해결한다.
• 기존의 MEMC 방법과 데이터 기반 접근법의 장점을 결합하기 위해, 종단간 훈련이 가능한 딥 러닝 프레임워크 내에서 운동 추정과 보정을 통합한다.
• 광학 흐름과 학습된 보간 커널을 융합하여 고품질의 중간 프레임을 합성하는 새로운 적응형 워핑 레이어를 개발한다.
• 제안된 아키텍처를 초해상도, 노이즈 제거, 블록 아티팩트 제거 등 여러 영상 향상 작업으로 확장하여 일반화 능력을 입증한다.
• 역전파를 통해 유연성 있는 흐름 및 커널 추정 네트워크를 공동 최적화함으로써 시각적 품질과 계산 효율성을 향상시킨다.

제안 방법

• 광학 흐름과 학습된 보간 커널을 융합하여 목표 프레임 픽셀을 합성하는 완전히 미분 가능한 적응형 워핑 레이어를 제안한다.
• 역전파를 사용하여 유연성 있는 흐름 추정 네트워크와 커널 추정 네트워크를 종단간 훈련함으로써 운동 추정과 보정의 공동 최적화를 가능하게 한다.
• 운동 불연속성 또는 데이터 손실 영역에서의 아티팩트를 줄이기 위해, 고려된 마스크를 추정하여 워핑된 프레임을 적응적으로 혼합한다.
• 막힘 영역이나 신뢰도가 떨어지는 영역에서 발생하는 픽셀을 보정하기 위해 후처리 CNN을 적용한다.
• 잔차 블록과 컨텍스트 집약을 사용하여 특징 표현을 향상시키고 운동 경계에서 세밀한 디테일을 유지한다.
• 입력과 손실 함수를 수정함으로써 동일한 아키텍처를 초해상도, 노이즈 제거, 블록 아티팩트 제거에 적용하며, 핵심 네트워크 구조는 그대로 유지한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 운동 추정과 보정을 동시에 최적화하여 영상 프레임 보간 품질을 향상시킬 수 있는가?
• RQ2 적응형 워핑 레이어를 통해 광학 흐름과 학습된 보간 커널을 통합할 경우, 시각적 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 MEMC-Net 기반 아키텍처가 보간을 초월해 여러 영상 향상 작업에 얼마나 잘 일반화되는가?
• RQ4 기준 데이터셋에서 PSNR, SSIM 및 시각적 품질 측면에서 제안된 방법이 최신 기술 수준의 방법을 초월하는가?
• RQ5 장애물 인식 혼합 및 후처리 모듈이 복잡한 운동 영역에서 아티팩트를 얼마나 효과적으로 줄이는가?

주요 결과

• MEMC-Net은 Vimeo90k 및 DAVIS 데이터셋에서 ToFlow, MIND, EpicFlow와 같은 기존 방법들보다 정량적 지표와 시각적 품질 모두에서 최신 기술 수준의 성능을 달성한다.
• BayesSR 초해상도 데이터셋에서 MEMC-Net_SR는 잔차 블록 수와 필터 수가 적음에도 불구하고 EDSR(SISR) 및 기타 비디오 초해상도 모델보다 높은 PSNR를 기록한다.
• 영상 노이즈 제거 작업에서 MEMC-Net_DN은 Vimeo90k 및 V-BM4D 데이터셋에서 각각 2위 방법보다 1.24 dB 및 1.95 dB의 PSNR 향상을 달성한다.
• 영상 블록 아티팩트 제거 작업에서 MEMC-Net_DB는 EDSR_DB, ToFlow 및 V-BM4D를 모두 능가하며, 블록 아티팩트를 효과적으로 줄이고 세밀한 무늬를 유지한다.
• 강화된 컨텍스트 모델링을 갖춘 개선된 버전인 MEMC-Net*는 특히 운동 경계 부근에서 더 선명한 결과와 더 나은 디테일 복구 능력을 보인다.
• 정성적 결과 분석에서 MEMC-Net은 기존 방법들에 비해 더 선명한 윤곽선, 더 적은 아티팩트, 더 나은 세밀한 무늬 보존 능력을 보였다.