[논문 리뷰] Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding

Duc Chien Nguyen, Woojae Kim외 2명|arXiv (Cornell University)|2018. 07. 04.

Advanced Vision and Imaging참고 문헌 23인용 수 5

한 줄 요약

이 논문은 사전 훈련 없이도 입력 프레임 사이에 임의의 수의 프레임을 고품질로 보간할 수 있는 플러그 앤 플레이형 비지도 비디오 프레임 보간 방법인 딥 로컬리 라인어 임bed딩(DeepLLE)을 제안한다. 이 방법은 깊이 있는 오토인코딩 컨volution 네트워크를 사용해 잠재 공간에서 선형성을 구현함으로써 성능을 향상시킨다. 이 방법은 상태 기반의 성능을 달성하여 인지적 품질 및 PSNR/SSIM 지표에서 기존의 딥 러닝 모델을 능가하며, 미세조정이나 대규모 데이터 없이도 작동한다.

ABSTRACT

We propose a generative framework which takes on the video frame interpolation problem. Our framework, which we call Deep Locally Linear Embedding (DeepLLE), is powered by a deep convolutional neural network (CNN) while it can be used instantly like conventional models. DeepLLE fits an auto-encoding CNN to a set of several consecutive frames and embeds a linearity constraint on the latent codes so that new frames can be generated by interpolating new latent codes. Different from the current deep learning paradigm which requires training on large datasets, DeepLLE works in a plug-and-play and unsupervised manner, and is able to generate an arbitrary number of frames. Thorough experiments demonstrate that without bells and whistles, our method is highly competitive among current state-of-the-art models.

연구 동기 및 목표

• 대규모 훈련과 미세조정이 필요한 딥 러닝 기반의 프레임 보간 방법의 한계를 해결한다.
• 기존의 즉각적이고 즉시 사용 가능한 보간 방법과 최신의 딥 러닝 모델 간의 격차를 메운다.
• 단일 추론 실행에서 임의의 수의 입력 프레임 사이에 임의의 수의 프레임을 보간할 수 있도록 한다.
• 광학 흐름이나 워핑에 의존하지 않고, 학습된 잠재 표현에 명시적인 선형 제약 조건을 적용하여 비디오 합성에 활용하는 방법을 탐색한다.
• 딥 컨volution 네트워크가 레이블이 없는 데이터 없이도 비디오의 내재된 통계를 충분히 포착하여 비지도, 플러그 앤 플레이 비디오 생성에 적합한지를 입증한다.

제안 방법

• 연속된 비디오 프레임을 낮은 차원의 잠재 공간으로 압축하기 위해 깊이 있는 오토인코딩 컨볼루션 네트워크를 훈련한다.
• 연속된 프레임의 잠재 코드에 명시적인 선형 제약 조건을 적용하며, 이는 잠재 공간 내에서 선형 다각형 위에 존재한다고 가정한다.
• 기준 프레임의 잠재 코드로 정의된 선을 따라 새로운 잠재 코드를 보간하여 새로운 프레임을 생성한다.
• L1, L2 및 SSIM 성분을 포함한 인지적 손실 함수를 사용하여 잠재 코드와 디코더를 함께 최적화한다.
• 편차를 억제하고 고주파 성분 복구를 향상시키기 위해 최적화 중에 드롭아웃을 적용한다.
• 학습률 감소 스케줄(2500 및 3750 반복 시 절반으로 조정)을 사용하여 최적화의 수렴 안정성을 높인다.

실험 결과

연구 질문

• RQ1 딥 오토인코더의 잠재 공간에서 명시적인 선형성은 사전 훈련 없이도 고품질의 비지도 비디오 프레임 보간을 가능하게 하는가?
• RQ2 플러그 앤 플레이형 최적화 기반 방법의 성능은 지도 학습 기반 딥 러닝 모델과 비교해 어떻게 되는가?
• RQ3 활성화 함수, 드롭아웃, 손실 구성 요소와 같은 아키텍처 선택 사항이 보간 프레임 품질에 미치는 영향은 무엇인가?
• RQ4 단일 최적화 실행으로 다수의 입력 프레임 사이에 임의의 수의 보간 프레임을 생성할 수 있는가?
• RQ5 딥 컨volution 네트워크가 레이블이 없는 데이터 없이도 비디오의 내재된 통계를 얼마나 잘 포착할 수 있는가?

주요 결과

• DeepLLE는 UCF101 및 DAVIS와 같은 여러 벤치마크에서 경쟁적인 PSNR 및 SSIM 점수를 기록하며, 최신의 지도 학습 기반 모델과 견줄 만큼의 성능을 보였다.
• 손실 함수에 SSIM을 포함시킴으로써 구조적 잡음이 크게 감소하여, SSIM을 사용하지 않은 모델 대비 인지적 품질이 향상되었다.
• ReLU, SELU 또는 ELU 활성화 함수 사용은 포화 현상으로 인해 성능 저하를 초래했으며, LReLU가 가장 우수한 성능을 보였다.
• 최적화 중 드롭아웃을 적용하면 시각적 잡음이 크게 감소하고 고주파 성분 복구가 향상되어 현실감이 향상되었다.
• 학습률 감소 스케줄은 최적화 수렴을 안정화시키고 수렴 근처의 진동을 방지했지만, 최종 지표 향상에는 크게 기여하지 않았다.
• 세 개의 기준 프레임에서 성능이 가장 우수했으며, 더 많은 프레임을 사용할 경우 비선형성이 높은 다각형에서 선형성 가정 위반이 발생해 성능 저하가 발생했다.