[논문 리뷰] Long-Term Video Interpolation with Bidirectional Predictive Network

Xiongtao Chen, Wenmin Wang외 3명|arXiv (Cornell University)|2017. 06. 13.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 비연속적인 영상 프레임 사이에 다수의 중간 프레임을 생성하기 위해 시작 프레임에서 향후 예측하고 끝 프레임에서 이전으로 예측하는 이방향 예측 네트워크(BiPN)를 제안한다. 모델은 이미지, 특징, 생성적 손실을 조합한 공동 손실을 사용하며, 노이즈 벡터 입력을 통해 다중 모odal 생성으로 확장되어 Moving 2D Shapes 및 UCF101에서 각각 PSNR 31.4와 SSIM 0.94의 경쟁력 있는 성능을 달성한다.

ABSTRACT

This paper considers the challenging task of long-term video interpolation. Unlike most existing methods that only generate few intermediate frames between existing adjacent ones, we attempt to speculate or imagine the procedure of an episode and further generate multiple frames between two non-consecutive frames in videos. In this paper, we present a novel deep architecture called bidirectional predictive network (BiPN) that predicts intermediate frames from two opposite directions. The bidirectional architecture allows the model to learn scene transformation with time as well as generate longer video sequences. Besides, our model can be extended to predict multiple possible procedures by sampling different noise vectors. A joint loss composed of clues in image and feature spaces and adversarial loss is designed to train our model. We demonstrate the advantages of BiPN on two benchmarks Moving 2D Shapes and UCF101 and report competitive results to recent approaches.

연구 동기 및 목표

• 비연속적인 입력 프레임 사이에 다수의 중간 프레임을 생성해야 하는 장기 영상 보간 문제를 해결하기 위해.
• 모델이 인간의 사건 진행 상상력과 유사하게 자연스럽고 다양한 중간 시퀀스를 예측할 수 있도록 하기 위해.
• 시작 프레임과 끝 프레임에서 모두 이방향 시간 모델링을 활용하여 장기 예측의 안정성을 향상시키기 위해.
• 이미지, 특징, 생성적 감독을 조합한 공동 손실을 통해 시각적 품질과 현실감을 향상시키기 위해.
• 스토캐스틱 노이즈 입력을 통해 다수의 가능성이 있는 운동 경로를 생성할 수 있도록 모델을 확장하기 위해.

제안 방법

• BiPN는 시작 프레임과 끝 프레임을 각각 처리하는 별도의 전방 및 역방향 인코더를 갖는 이방향 인코더-디코더 아키텍처를 사용한다.
• 두 인코더에서 유도된 잠재 특징이 융합되어 공유 디코더에 입력되어 다수의 중간 프레임을 생성한다.
• 다양한 공간 해상도에서 작은 움직임 패턴과 큰 움직임 패턴을 모두 포착하기 위해 다중 해상도 버전의 BiPN을 도입한다.
• 다양한 가능성이 있는 중간 시퀀스를 생성하기 위해 노이즈 벡터를 두 인코더의 특징 맵에 주입한다.
• 모델은 픽셀 공간에서의 L1 손실, 특징 공간에서의 인지적 손실, 현실감 향상을 위한 생성적 손실을 조합한 공동 손실을 사용해 훈련된다.
• 모든 입력 프레임은 훈련 시 64×64로 리사이징되며, 추론은 원본 해상도에서 수행된다.

실험 결과

연구 질문

• RQ1 딥 이방향 네트워크가 비연속적인 영상 프레임 사이에 다수의 중간 프레임을 효과적으로 생성할 수 있는가?
• RQ2 시작 프레임과 끝 프레임에서 모두 이방향 모델링을 적용할 경우, 단방향 접근 방식에 비해 장기 영상 보간 품질이 향상되는가?
• RQ3 노이즈 벡터의 통합이 인간의 상상력과 유사한 다양한 가능성이 있는 운동 경로를 생성할 수 있도록 모델을 강화하는가?
• RQ4 이미지, 특징, 생성적 손실을 함께 사용할 경우 더 높은 인지적 품질과 더 선명한 예측이 이루어지는가?
• RQ5 다중 해상도 모델링이 자연 영상에서 큰 움직임과 복잡한 운동을 다루는 데 네트워크의 능력을 향상시키는가?

주요 결과

• 다중 해상도 BiPN은 UCF101 데이터셋에서 PSNR 31.4, SSIM 0.94를 기록하여 EpicFlow(30.2 PSNR, 0.93 SSIM)와 DVF(30.9 PSNR, 0.94 SSIM)를 초월했다.
• Moving 2D Shapes 데이터셋에서 BiPN은 궤도 정확도와 외관 유지 측면에서 지표값과 밀도적으로 일치하는 14개의 중간 프레임을 성공적으로 생성했다.
• 다른 노이즈 벡터를 샘플링하여 서로 다른 자연스러운 운동 시퀀스를 생성하였으며, 이는 모델이 다중 모달 생성 기능을 갖추고 있음을 보여주었다.
• 다중 해상도 BiPN은 단일 해상도 버전보다 낮은 생성기 손실과 높은 SharpDiff(선명도 지표)를 보였으며, 이는 훈련 안정성 향상과 출력 품질 향상을 시사한다.
• UCF101에서의 시각적 결과는 웨이트리프팅과 바이올린 연주와 같은 복잡한 동작에 대해 일관된 운동 합성 능력을 보였으며, 최대 8개의 보간 프레임을 생성했다.
• 모델은 장기적 시간 동역학을 효과적으로 포착했고, 보간된 프레임 간에도 객체 정체성과 외관을 유지했다.