[논문 리뷰] Multi-Scale Video Frame-Synthesis Network with Transitive Consistency Loss

Zhe Hu, Yinglan Ma외 1명|arXiv (Cornell University)|2017. 12. 07.

Advanced Vision and Imaging참고 문헌 39인용 수 8

한 줄 요약

이 논문은 재학습 없이도 임의의 시간 위치에서 종단간(end-to-end) 비디오 프레임 보간 및 외삽을 위한 통합 다중스케일 딥 네트워크인 MSFSN을 제안한다. 전이 일致성 손실을 도입하고 다중스케일 피라미드 수준 간에 파라미터를 공유함으로써, 모델은 더 작은 모델 크기와 높은 효율성을 확보하면서도 최신 기술 수준의 성능을 달성한다. 이는 모바일 및 엣지 디바이스에 적합하다.

ABSTRACT

Traditional approaches to interpolate/extrapolate frames in a video sequence require accurate pixel correspondences between images, e.g., using optical flow. Their results stem on the accuracy of optical flow estimation, and could generate heavy artifacts when flow estimation failed. Recently methods using auto-encoder has shown impressive progress, however they are usually trained for specific interpolation/extrapolation settings and lack of flexibility and In order to reduce these limitations, we propose a unified network to parameterize the interest frame position and therefore infer interpolate/extrapolate frames within the same framework. To achieve this, we introduce a transitive consistency loss to better regularize the network. We adopt a multi-scale structure for the network so that the parameters can be shared across multi-layers. Our approach avoids expensive global optimization of optical flow methods, and is efficient and flexible for video interpolation/extrapolation applications. Experimental results have shown that our method performs favorably against state-of-the-art methods.

연구 동기 및 목표

• 고정된 보간/외삽 설정용으로 훈련된 기존의 화면 합성 방법의 한계를 해결하고, 시간 위치 간 일반화 능력을 향상시키기 위해.
• 계산 비용이 높고 운동 모호성 하에서 아티팩트가 발생하기 쉬운 광학 흐름 추정에 대한 의존도를 줄이기 위해.
• 재학습 없이도 임의의 시간 비율에서 보간 또는 외삽을 수행할 수 있는 단일 통합 네트워크를 개발하기 위해.
• 고품질 재구성 성능을 유지하면서도 모델 크기를 최소화하여 모바일 및 엣지 디바이스에 효율적으로 구현 가능하게 하기 위해.
• 새로운 전이 일치성 손실을 통해 다양한 운동 패턴 간의 훈련 안정성과 일반화 능력을 향상시키기 위해.

제안 방법

• 계층적 특징 피라미드를 통해 근본적으로부터 세밀한 방식으로 관심 프레임을 재구성하는 다중스케일 화면 합성 네트워크(MSFSN)를 제안한다.
• 다중 화면 예측 간 논리적 일관성을 강제하기 위해 전이 일치성 손실을 도입하여, 보간 및 외삽 작업의 공동 훈련을 가능하게 한다.
• 입력/출력 형식과 기능적 역할을 정렬함으로써 피라미드 수준 간에 네트워크 파라미터를 공유함으로써 모델 크기를 감소시키고 확장성을 향상시킨다.
• 관심 프레임의 시간 위치를 학습 가능한 변수로 매개변수화하여 추론 시 임의의 시간 비율로 일반화할 수 있도록 한다.
• 명시적인 광학 흐름 추정 없이도 운동 변화를 모델링하기 위해 공간적으로 적응형 컨볼루션을 갖는 잔차 블록을 사용한다.
• 재구성 손실과 전이 일치성 손실의 조합을 사용해 종단간 훈련을 수행함으로써 시간적 일관성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 딥 네트워크가 임의의 시간 위치에서 보간 또는 외삽을 수행할 수 있는가?
• RQ2 다중 화면 예측 간 전이 일치성을 어떻게 강제할 수 있을까? 이는 훈련 안정성과 일반화 능력을 향상시킬 수 있다.
• RQ3 다중스케일 피라미드 수준 간의 파라미터 공유가 모델 크기를 얼마나 줄일 수 있을까? 이는 높은 재구성 정확도를 유지하면서도 가능할까?
• RQ4 큰 운동 또는 가림 현상 하에서 유 flow 기반 및 오토에코더 기반 방법과 비교해 시각적 품질, 효율성, 강건성 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 통합 프레임워크는 아키텍처 수정 없이도 보간 및 외삽 작업을 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 MSFSN은 KITTI, UCF-101, THUMOS-15와 같은 벤치마크 데이터셋에서 보간 및 외삽 작업 모두 최신 기술 수준의 성능을 달성한다.
• 특히 다중 프레임 보간 시나리오에서 FlowNet2 및 AdapSC보다 더 선명한 결과를 생성하며, 직선과 세부 정보의 보존 능력이 뛰어나다.
• 사용자 연구 결과, 70%의 참가자가 제안된 방법을 FlowNet2, EpicFlow 및 DVF보다 선호했으며, AdapSC와 비슷한 성능을 보였다.
• 오토에코더 기반 방법(예: [31, 32, 24])보다 네트워크가 훨씬 작아, 모바일 및 엣지 디바이스에의 배포에 적합하다.
• 전이 일치성 손실은 훈련을 정규화하여 보간 및 외삽 작업을 함께 최적화하면서 성능 저하 없이 가능하게 했다.
• 장거리 운동에 대해서도 잘 일반화되며, 추론 시 더 많은 피라미드 수준을 스택함으로써 능력을 확장할 수 있다.