[논문 리뷰] A Dynamic Multi-Scale Voxel Flow Network for Video Prediction

Xiaotao Hu, Zhewei Huang외 3명|arXiv (Cornell University)|2023. 03. 17.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 RGB 입력만을 사용하여 향후 영상 프레임을 예측하는 동적 다중 스케일 볼륨 플로우 네트워크(DMVFN)를 제안한다. 이는 입력의 운동 스케일에 따라 하위 네트워크를 동적으로 선택하는 미분 가능 라우팅 모듈을 활용한다. 이 방법은 이전의 Deep Voxel Flow 및 OPT와 같은 방법들보다 약 10배 빠르면서도 최신 기술 수준(SOTA)의 영상 예측 품질을 달성한다.

ABSTRACT

The performance of video prediction has been greatly boosted by advanced deep neural networks. However, most of the current methods suffer from large model sizes and require extra inputs, e.g., semantic/depth maps, for promising performance. For efficiency consideration, in this paper, we propose a Dynamic Multi-scale Voxel Flow Network (DMVFN) to achieve better video prediction performance at lower computational costs with only RGB images, than previous methods. The core of our DMVFN is a differentiable routing module that can effectively perceive the motion scales of video frames. Once trained, our DMVFN selects adaptive sub-networks for different inputs at the inference stage. Experiments on several benchmarks demonstrate that our DMVFN is an order of magnitude faster than Deep Voxel Flow and surpasses the state-of-the-art iterative-based OPT on generated image quality. Our code and demo are available at https://huxiaotaostasy.github.io/DMVFN/.

연구 동기 및 목표

• RGB 프레임만을 입력으로 요구하는 경량 영상 예측 모델을 개발하여, 깊이 또는 시맨틱 맵과 같은 추가 입력에 의존하지 않도록 하는 것.
• 실생활 영상에서 다양한 운동 스케일을 모델링하는 과제를 해결하는 것, 특히 고해상도 및 복잡한 시나리오에서의 문제를 다루는 것.
• 기존 방법보다 예측 품질을 유지하거나 향상시키면서도 계산 비용과 추론 시간을 줄이는 것.
• 입력 특성에 따라 최적의 하위 네트워크를 적응적으로 선택할 수 있는 미분 가능한 라우팅 메커니즘을 설계하는 것.

제안 방법

• 핵심 아키텍처는 확장된 수신장이 증가하는 확장 컨벌루션을 사용하여 다중 공간 스케일에서 운동 힌트를 추출하는 다중 스케일 볼륨 플로우 블록(MVFBs)으로 구성되어 있다.
• 경량 라우팅 모듈은 공유 백본을 사용하여 입력 프레임에서 라우팅 벡터를 생성하고, 미분 가능한 소프트 라우팅을 통해 동적 하위 네트워크 선택을 가능하게 한다.
• 라우팅 메커니즘은 라우팅 정책의 엔드 투 엔드 학습을 가능하게 하는 직선 추정기(Stealth-Through Estimator)와 이진 샘플링(Stealth-Through Estimator with Binary Sampling, STEBS)을 사용한다.
• 모델은 각 MVFB가 특정 스케일에서 특징을 처리하는 다중 스케일 플로우 추정 전략을 사용하며, 최적의 성능을 위해 스케일링 요소를 [4,2,1]로 설정한다.
• 각 MVFB 내의 공간 경로는 스케일 간 공간적 맥락을 유지함으로써 특징 집합을 향상시킨다.
• 전체 네트워크는 시각적 품질 향상을 위해 적대적, 인지적, 재구성 손실의 조합을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 추가 입력 없이도 단일 경량 영상 예측 모델이 실생활 영상의 다중 스케일 운동 패턴을 효과적으로 처리할 수 있는가?
• RQ2 동적 하위 네트워크 선택은 영상 예측의 효율성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 입력 의존적 운동 복잡성에 적응할 수 있는 최적의 미분 가능한 라우팅 메커니즘 설계는 무엇인가?
• RQ4 스케일링 요소와 공간 경로 설계는 영상 예측에서 다중 스케일 운동 모델링에 어떤 영향을 미치는가?
• RQ5 라우팅 기반 아키텍처는 반복적 또는 고정 아키텍처 모델보다 속도와 시각적 품질 측면에서 뛰어나게 성능을 냈는가?

주요 결과

• DMVFN은 모든 벤치마크에서 MS-SSIM 기준 최신 기술 수준 성능를 달성했으며, t+1에서 Cityscapes에서 95.73, t+5에서 83.45를 기록하여 OPT 및 Deep Voxel Flow를 초월했다.
• Deep Voxel Flow보다 약 10배 빠른 속도를 기록하여 GFLOPs를 줄였으며, 이미지 품질을 유지하거나 향상시켰다.
• STEBS를 사용한 라우팅 모듈은 Gumbel Softmax 및 무작위 라우팅보다 우수한 성능을 보였으며, 특히 장기 예측에서 더 나은 동적 적응 능력을 보였다.
• MVFB 내의 공간 경로 설계는 모든 데이터셋에서 MS-SSIM 점수를 1.5~2.0 포인트 향상시켜 특징 집합의 효과성을 입증했다.
• 최적의 스케일링 요소 조합 [4,2,1]이 가장 뛰어난 성능을 보였으며, Cityscapes에서 t+5에서 [1] 대비 2.5포인트 향상되었다.
• 제거 실험 결과, 라우팅 모듈과 공간 경로 모두 필수적임을 확인했으며, 전체 DMVFN은 변형된 모델보다 MS-SSIM 점수를 1.5~3.0 포인트 높게 기록했다.