[논문 리뷰] Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks

Joost R. van Amersfoort, Wenzhe Shi외 5명|arXiv (Cornell University)|2017. 11. 16.

Advanced Vision and Imaging참고 문헌 31인용 수 35

한 줄 요약

이 논문은 다중 척도 잔차 추정과 적대적, 콘텐츠, 플로우 기반 감독을 조합한 인지 손실을 사용하는 실시간 프레임 보간 네트워크인 FIGAN을 제안한다. 이는 가장 가까운 경쟁자 대비 47배 빠른 속도로 작동하면서도 최신 기준 PSNR와 시각적 품질을 달성하여 합성 영상 프레임 생성에서 뛰어난 효율성과 현실감을 입증한다.

ABSTRACT

Frame interpolation attempts to synthesise frames given one or more consecutive video frames. In recent years, deep learning approaches, and notably convolutional neural networks, have succeeded at tackling low- and high-level computer vision problems including frame interpolation. These techniques often tackle two problems, namely algorithm efficiency and reconstruction quality. In this paper, we present a multi-scale generative adversarial network for frame interpolation (\mbox{FIGAN}). To maximise the efficiency of our network, we propose a novel multi-scale residual estimation module where the predicted flow and synthesised frame are constructed in a coarse-to-fine fashion. To improve the quality of synthesised intermediate video frames, our network is jointly supervised at different levels with a perceptual loss function that consists of an adversarial and two content losses. We evaluate the proposed approach using a collection of 60fps videos from YouTube-8m. Our results improve the state-of-the-art accuracy and provide subjective visual quality comparable to the best performing interpolation method at x47 faster runtime.

연구 동기 및 목표

• 고재현 품질과 계산 효율성의 균형을 잡은 실시간 프레임 보간 방법을 개발한다.
• 광학 플로우 추정의 한계를 보완하기 위해 군집에서 세밀한 플로우 정밀화와 공간 변환망을 통합한다.
• 표준 픽셀 단위 손실을 다중 척도 인지 손실로 대체하여 시각적 현실감을 향상시킨다. 이 손실은 적대적 및 콘텐츠 감독을 조합한다.
• PSNR 또는 인지 품질을 희생시키지 않고 모델 복잡성과 추론 비용을 감소시킨다.
• 정량적 지표와 주관적 시각 품질 양면에서 최신 기준 성능을 달성한다.

제안 방법

• 粗기에서 세밀한 단계로 향하는 방식으로 플로우 및 프레임 예측을 구축하는 다중 척도 잔차 추정 모듈을 제안하여 계산 비용을 감소시킨다.
• 실제 프레임 대 생성된 프레임을 기반으로 훈련된 판별자와 함께 생성적 적대적 네트워크(GAN)를 사용하여 인지적 현실감을 향상시킨다.
• VGG 기반 특징 재구성과 적대적 손실을 조합한 다중 척도 인지 손실을 사용하여 구조적 및 텍스처 정합도를 향상시킨다.
• 차별 가능한 이미지 왜곡을 가능하게 하는 공간 변환망을 통합하여 플로우 및 프레임 합성 파이프라인의 엔드 투 엔드 훈련을 가능하게 한다.
• L1, 인지, 적대적 성분을 조합한 복합 손실 함수를 사용하여 다중 네트워크 깊이에서 훈련을 이끌어낸다.
• YouTube-8M 60fps 영상 데이터셋을 사용하여 다중 척도 감독 전략을 적용해 해상도 간 특징 일관성을 향상시켰다.

실험 결과

연구 질문

• RQ1 粗기에서 세밀한 다중 척도 아키텍처는 정확도를 희생시키지 않고도 프레임 보간 효율성을 향상시킬 수 있는가?
• RQ2 적대적 훈련과 다중 척도 인지 손실을 조합하면 더 자연스럽고 현실적인 보간 프레임을 얻을 수 있는가?
• RQ3 PSNR, 추론 속도, 시각적 품질 측면에서 제안된 방법은 최신 기준 접근법과 어떻게 비교되는가?
• RQ4 모델 복잡성과 FLOPs를 줄이면 프레임 보간 성능에 어떤 정도의 영향을 미치는가?
• RQ5 인지 감독을 통한 GAN 기반 접근법이 정량적 및 정성적 지표에서 전통적인 L1 기반 손실보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• FIGAN은 전체 테스트 세트에서 PSNR 37.23을 기록하여 이전 최신 기준(MS with VGG)보다 0.26 dB 높다.
• 360×640 프레임당 0.015초의 속도로 실행되어 가장 가까운 경쟁 방법 대비 47배 빠른 성능을 보였다.
• 시각적 품질은 최고 성능 방법(SepConv-ℒF)과 유사하지만, 추론 시 FLOPs가 3.24배 적다.
• 특히 운동과 가림을 다룰 때, 플로우 기반 베이스라인(Farneback, PCA-layers)보다 PSNR와 시각적 일관성에서 모두 우수하다.
• 복잡한 운동 시나리오, 예를 들어 빠르게 움직이는 객체와 정적 객체가 겹치는 경우에서도 경쟁 방법보다 선명도와 세부 구조를 더 잘 유지한다.
• 적대적 훈련과 함께 다중 척도 인지 손실을 사용함으로써 L1 전용 또는 표준 인지 손실 대비 더 자연스러운 질감과 더 적은 블러 현상을 경험할 수 있었다.