[논문 리뷰] Video Frame Interpolation via Adaptive Convolution

Simon Niklaus, Long Mai외 1명|arXiv (Cornell University)|2017. 03. 22.

Advanced Vision and Imaging참고 문헌 36인용 수 33

한 줄 요약

이 논문은 공간적 적응형 커널을 사용하여 운동 추정과 픽셀 합성 과정을 단일 합성곱 처리로 통합하는 딥러닝 기반 영상 프레임 보간 방법을 제안한다. 광학 흐름에 의존하지 않고, 두 입력 프레임에서 각 픽셀에 대한 합성곱 커널을 추정하기 위해 완전 합성곱 신경망을 사용함으로써, 망막, 흐림, 밝기 변화와 같은 조건에서도 강인한 보간을 가능하게 하며, 영상 데이터만으로 엔드 투 엔드 훈련을 수행한다.

ABSTRACT

Video frame interpolation typically involves two steps: motion estimation and pixel synthesis. Such a two-step approach heavily depends on the quality of motion estimation. This paper presents a robust video frame interpolation method that combines these two steps into a single process. Specifically, our method considers pixel synthesis for the interpolated frame as local convolution over two input frames. The convolution kernel captures both the local motion between the input frames and the coefficients for pixel synthesis. Our method employs a deep fully convolutional neural network to estimate a spatially-adaptive convolution kernel for each pixel. This deep neural network can be directly trained end to end using widely available video data without any difficult-to-obtain ground-truth data like optical flow. Our experiments show that the formulation of video interpolation as a single convolution process allows our method to gracefully handle challenges like occlusion, blur, and abrupt brightness change and enables high-quality video frame interpolation.

연구 동기 및 목표

• 광학 흐름에 의존하고 운동 추정 오차에 민감한 전통적인 두 단계 보간 방법의 한계를 해결한다.
• 영상 보간에서 망막, 흐림, 급격한 밝기 변화와 같은 과제를 극복한다.
• 운동 추정과 픽셀 합성을 단일 미분 가능한 과정으로 통합하는 통합 프레임워크를 개발한다.
• 지상 진실 광학 흐름 또는 기타 확보하기 어려운 애너테이션을 필요로 하지 않고, 오직 널리 이용 가능한 영상 데이터만으로 엔드 투 엔드 훈련을 가능하게 한다.
• 학습된 공간적 적응형 합성곱 커널을 통해 날카럽고 에지 인식형 보간 결과를 달성한다.

제안 방법

• 두 입력 프레임의 대응 패치에 대한 局소 합성곱 연산으로 영상 프레임 보간을 공식화한다.
• 각 출력 픽셀에 대해 공간적 적응형 합성곱 커널을 추정하기 위해 깊이 있는 완전 합성곱 신경망을 사용한다.
• 신경망은 각 픽셀의 입력 프레임에서 중심이 된 수용체 영역 패치를 입력으로 받아들이고, 합성곱 커널을 예측한다.
• 예측된 커널을 입력 패치에 적용하여 합성곱을 통해 보간된 픽셀 색상을 합성한다.
• 지상 진실 광학 흐름이나 기타 보조 정보 없이도 오직 영상 데이터만으로 엔드 투 엔드 훈련을 수행한다.
• 병렬 처리를 가능하게 하고 계산의 중복을 줄이기 위해 시프트 앤 스티치 구현 방식을 활용한다.

실험 결과

연구 질문

• RQ1 명시적인 운동 추정 없이도 영상 프레임 보간을 단일 합성곱 처리로 효과적으로 통합할 수 있는가?
• RQ2 딥 신경망이 동시에 운동과 합성 계수를 인코딩하는 공간적 적응형 합성곱 커널을 학습할 수 있는가?
• RQ3 망막, 흐림, 밝기 변화와 같은 도전적인 조건에서도 높은 품질의 보간을 달성할 수 있는가?
• RQ4 지상 진실 광학 흐름이나 기타 지상 진실 애너테이션을 필요로 하지 않고도 영상 데이터만으로 신경망을 엔드 투 엔드 훈련할 수 있는가?
• RQ5 흐름 기반 또는 단계 기반 보간과 비교했을 때, 이 방법은 견고성과 시각적 품질 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 운동 추정과 픽셀 합성을 단일 합성곱 처리로 통합함으로써 고품질 영상 프레임 보간을 달성한다.
• 흐름 기반 방법보다 망막, 흐림, 급격한 밝기 변화와 같은 도전적인 상황을 더 유연하게 처리한다.
• 신경망은 경계 주변에서 더 날카로운 결과를 낼 수 있도록 에지 인식형 합성곱 커널을 학습한다.
• 지상 진실 광학 흐름이나 기타 보조 정보 없이 오직 영상 데이터만으로 훈련한 결과는 직접 픽셀을 합성하는 백오프 네트워크보다 열등한 성능을 내지 않는다.
• 특히 날카러움 측면에서 Long 등이 제안한 광학 흐름 기반 보간 방법보다 더 우수한 결과를 낸다.
• 이 방법은 두 입력 간에 단일 프레임만 보간할 수 있으며, 커널 크기(41×82)를 초월하는 운동을 처리할 수는 없지만, 이 범위 내에서는 성능 저하가 점진적으로 발생한다.