[논문 리뷰] Novel Video Prediction for Large-scale Scene using Optical Flow

Henglai Wei, Xiaochuan Yin외 1명|arXiv (Cornell University)|2018. 05. 30.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 13

한 줄 요약

이 논문은 복잡한 도시 환경에서 미래 프레임 예측을 향상시키기 위해 광학 흐름과 RGB 영상 시퀀스를 활용하는 새로운 엔드 투 엔드 영상 예측 프레임워크를 제안한다. 입력 프레임의 공간-시간적 특징과 광학 흐름의 운동 정보를 통합함으로써, KITTI 및 Cityscapes 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, KITTI에서 PSNR 41.68과 SSIM 0.9097의 성능을 기록하여 PredNet 및 ConvLSTM와 같은 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Making predictions of future frames is a critical challenge in autonomous driving research. Most of the existing methods for video prediction attempt to generate future frames in simple and fixed scenes. In this paper, we propose a novel and effective optical flow conditioned method for the task of video prediction with an application to complex urban scenes. In contrast with previous work, the prediction model only requires video sequences and optical flow sequences for training and testing. Our method uses the rich spatial-temporal features in video sequences. The method takes advantage of the motion information extracting from optical flow maps between neighbor images as well as previous images. Empirical evaluations on the KITTI dataset and the Cityscapes dataset demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 방법이 시나리오 다양성과 객체 간 상호작용으로 인해 실패하는 복잡하고 동적인 도로 주행 환경에서 정확한 영상 예측을 달성하는 데 도전한다.
• 수동 애너테이션이나 자동차의 자세 운동 데이터 없이도, 레이블이 없는 RGB 시퀀스와 광학 흐름만을 기반으로 영상 예측 모델을 개발한다.
• 광학 흐름 예측 손실과 프레임 예측 손실을 동시에 학습하여 예측 품질을 향상시킨다.
• 대규모 환경에서 자연 영상 프레임과 세분화 결과 모두에 대해 고해상도 예측을 가능하게 한다.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 하나의 스트림은 RGB 프레임을 처리하여 공간-시간적 외관 특징을 추출하고, 다른 스트림은 인접 프레임 간 광학 흐름 맵을 처리하여 운동 정보를 추출한다.
• 광학 흐름 예측 네트워크(OFPN)는 네 개의 연속된 광학 흐름 맵을 입력으로 받아 다음 프레임의 흐름 맵을 예측하며, 운동 표현을 향상시킨다.
• 운동 추정 네트워크(MEN)는 광학 흐름과 이전 프레임에서부터 조밀한 변환 맵 T를 생성하여 픽셀 수준의 운동 동역학을 모델링한다.
• 공간-시간 예측 네트워크(STPN)는 외관 특징과 운동 특징을 융합하여 엔드 투 엔드 방식으로 미래 프레임을 생성한다.
• 구조적 일致성과 선명도를 향상시키기 위해 ℓ₁ 손실과 게이팅 가능한 미분 가능 손실(ℓ_gdl)의 조합된 손실 함수를 사용하여 모델을 훈련시킨다.
• 광학 흐름 예측 손실과 프레임 예측 손실을 함께 최적화함으로써, 양방향 특징 학습이 가능하도록 프레임워크를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 광학 흐름은 복잡한 도시 환경에서 영상 예측 향상에 효과적으로 조건부 신호로 사용될 수 있는가?
• RQ2 RGB 입력에만 의존하는 방법과 비교할 때, 광학 흐름과 RGB 특징을 융합한 방법은 정확도와 선명도 측면에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 제안된 모델은 대규모 환경에서 자연 영상 예측과 세분화 예측 작업 모두에 일반화될 수 있는가?
• RQ4 광학 흐름 예측 손실과 프레임 예측 손실을 함께 최적화하는 것이 단일 작업 학습보다 더 뛰어난 성능을 내는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 PSNR 41.6849와 SSIM 0.9097의 성능을 기록하며, PredNet(PSNR: 15.0817, SSIM: 0.4738)보다 뚜렷이 뛰어나다.
• Cityscapes 데이터셋에서 모델은 세분화 예측에 대해 PSNR 26.3671과 SSIM 0.9490의 성능을 기록하며, ConvLSTM(PSNR: 18.9462, SSIM: 0.8715)을 초월한다.
• 정성적 결과 분석에서 예측 결과는 기준 방법보다 더 선명하고 정확하며, 운동 일관성이 뛰어나고 뿌연 현상이 감소한 것으로 나타났다.
• 모델는 고도로 상호작용하는 객체가 많은 복잡한 배경에서도 보행자와 차량 등의 복잡한 운동을 효과적으로 포착한다.
• 광학 흐름을 조건부 신호로 사용함으로써, 다양한 대규모 도시 환경에 대해 잘 일반화되는 것을 확인할 수 있었다.