[논문 리뷰] Probabilistic Future Prediction for Video Scene Understanding

Anthony Hu, Fergal Cotter외 3명|arXiv (Cornell University)|2020. 03. 13.

Human Pose and Action Recognition참고 문헌 67인용 수 11

한 줄 요약

이 논문은 RGB 영상에서 자동차의 주행 동작, 정적 환경, 동적 에이전트의 운동을 조건부 변동형 자동에코더(CVAE)를 사용해 동시에 모델링하는 새로운 딥러닝 프레임워크를 제안한다. 이 모델은 다수의 일관된 미래를 샘플링할 수 있는 압축된 잠재 표현을 학습하며, Cityscapes 데이터셋에서 인식 정확도가 20.0% 향상되고 스티어링 오차가 33% 감소하여 미래 예측 정확도와 엔드 투 엔드 주행 정책 성능이 크게 향상된다.

ABSTRACT

We present a novel deep learning architecture for probabilistic future prediction from video. We predict the future semantics, geometry and motion of complex real-world urban scenes and use this representation to control an autonomous vehicle. This work is the first to jointly predict ego-motion, static scene, and the motion of dynamic agents in a probabilistic manner, which allows sampling consistent, highly probable futures from a compact latent space. Our model learns a representation from RGB video with a spatio-temporal convolutional module. The learned representation can be explicitly decoded to future semantic segmentation, depth, and optical flow, in addition to being an input to a learnt driving policy. To model the stochasticity of the future, we introduce a conditional variational approach which minimises the divergence between the present distribution (what could happen given what we have seen) and the future distribution (what we observe actually happens). During inference, diverse futures are generated by sampling from the present distribution.

연구 동기 및 목표

• 복잡한 도심 주행 환경에서 높은 불확실성을 지닌 확률적이고 다중 에이전트 상호작용을 모델링하는 과제를 해결한다.
• 정성 분할, 깊이, 옵티컬 플로우를 동시에 확률적으로 예측하는 통합된 딥러닝 아키텍처를 개발한다.
• 영상에서 학습한 미래 인식 및 운동 인식 표현을 활용해 자율주행 차량 제어를 향상시킨다.
• 잠재 공간 샘플링을 통한 불확실성의 명시적 모델링을 통해 다양한 미래 장면 생성을 가능하게 한다.
• 미래 예측 지도가 직접 제어 최적화를 넘어서 엔드 투 엔드 주행 정책 성능을 향상시킨다는 것을 입증한다.

제안 방법

• RGB 영상에서 운동 인식 특징을 추출하기 위해 계층적 공간-시간 분해를 가진 새로운 시공간 컨볼루션 아키텍처를 사용한다.
• 미래 상태의 현재 분포를 모델링하기 위해 조건부 변동형 자동에코더(CVAE)를 사용하며, 예측된 분포와 진짜 미래 분포 간의 KL 발산을 최소화한다.
• 현재 관측 기반의 현재 분포를 진짜 미래 분포와 일치시키는 KL 발산 손실을 사용해 모델을 훈련함으로써 추론 시 미래 샘플링이 가능해진다.
• 잠재 표현을 명시적으로 복원하여 다중 시간 단계에서 미래의 정성 분할, 깊이, 옵티컬 플로우를 예측한다.
• 학습된 시간 표현을 기반으로 미분 가능한 주행 정책 네트워크에 입력으로 통합하여 미래 예측 지도를 활용한 엔드 투 엔드 훈련을 가능하게 한다.
• 현재 분포의 미분 엔트로피를 불확실성 측정 지표로 사용하여 높은 확률적 변동성이 존재하는 장면(예: 교차로)을 식별한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 RGB 영상에서 자동차의 주행 동작, 정적 환경, 동적 에이전트의 운동을 확률적으로 동시에 예측할 수 있는가?
• RQ2 잠재 공간에서의 불확실성 모델링이 예측된 미래 장면의 다양성과 현실성에 어떻게 기여하는가?
• RQ3 미래 예측 지도가 엔드 투 엔드 자율주행 정책 성능에 얼마나 기여하는가?
• RQ4 예측 분포의 엔트로피를 분석함으로써 모델이 고불확실성 장면(예: 교차로)을 자동으로 탐지할 수 있는가?
• RQ5 정성 분할, 깊이, 옵티컬 플로우 등 여러 모odal을 동시에 예측하는 것이 단일 모달 또는 비확률적 기준 모델보다 더 나은 시간 표현을 제공하는가?

주요 결과

• 제안된 모델은 Cityscapes 데이터셋에서 5프레임 및 10프레임 뒤 미래 정성 분할 예측에서 최신 기술 성능을 달성하며, 각각 IoU 점수는 0.464 및 0.416를 기록한다.
• 확률적 모델은 정적 단일 프레임 기준 모델 대비 인식 정확도를 20.0% 향상시키고 스티어링 오차를 33% 감소시켜 주행 정책 성능을 향상시킨다.
• 다양한 노이즈 벡터로부터의 샘플링을 통해 다수의 시각적으로 타당한 미래 장면을 생성하며, 정지 또는 계속 주행 등의 다른 행동 패턴이 명확히 드러난다.
• 잠재 공간의 높은 엔트로피 영역은 교차로와 같이 여러 가지 타당한 미래가 존재하는 복잡한 장면과 대응되며, 이는 모델의 불확실성 추정이 타당함을 검증한다.
• 확률적 모델은 결정론적 모델 대비 인식 성능 향상 7.4% 및 속도 감소 3.5%에서 더 높은 성능을 보이며, 불확실성 모델링의 유용성을 입증한다.
• 미래 예측 지도가 비미래 인식 기반 기준 모델 대비 스티어링 제어 성능을 27% 향상시키고 속도 제어 성능을 38% 향상시키며, 예측 기반 표현 학습이 제어 정책 일반화를 향상시킴을 보여준다.