[논문 리뷰] Discrete Residual Flow for Probabilistic Pedestrian Behavior Prediction

Ajay N. Jain, Sergio Casas외 5명|arXiv (Cornell University)|2019. 10. 17.

Autonomous Vehicle Technology and Safety참고 문헌 31인용 수 13

한 줄 요약

이 논문은 이산 잔차 흐름을 활용해 향후 시간 단계에 대한 이산화된 공간 확률 분포에 대한 순차적 갱신으로 보행자 운동 예측을 모델링하는 DRF-Net을 제안한다. 이는 컨볼루션 신경망과 로그 확률 공간에서의 학습된 흐름을 활용한다. 이 방법은 대규모 도시 데이터셋에서 우수한 성능을 보이며, 가능성, 다중모드성, 지도 기반 예측에서 최신 기술을 초월한다. 복잡한 다중모드성 보행자 행동을 고정밀도, 저엔트로피 분포로 잘 포착한다.

ABSTRACT

Self-driving vehicles plan around both static and dynamic objects, applying predictive models of behavior to estimate future locations of the objects in the environment. However, future behavior is inherently uncertain, and models of motion that produce deterministic outputs are limited to short timescales. Particularly difficult is the prediction of human behavior. In this work, we propose the discrete residual flow network (DRF-Net), a convolutional neural network for human motion prediction that captures the uncertainty inherent in long-range motion forecasting. In particular, our learned network effectively captures multimodal posteriors over future human motion by predicting and updating a discretized distribution over spatial locations. We compare our model against several strong competitors and show that our model outperforms all baselines.

연구 동기 및 목표

• 보행자 행동의 장기적 불확실성을 포착하는 데에 한계가 있는 결정론적 및 샘플링 기반 예측 모델의 문제를 해결하기 위해.
• 실제 장면 상호작용과 목표 불확실성을 반영한 복잡한 다중모드 보행자 운동 분포를 모델링하기 위해.
• 샘플링 없이 직접 공간 확률 분포를 출력함으로써 자율주행차의 효율적이고 비용 기반 계획을 가능하게 하기 위해.
• 깊이 있는 컨볼루션 아키텍처를 사용해 장면 맥락과 지도 의미 정보를 보행자 운동 예측에 통합함으로써 개선하기 위해.
• 가우스 또는 혼합 기반 모델보다 더 정확하게 시간 의존성을 유지하고 불확실성을 더 잘 표현하는 확률적 프레임워크를 개발하기 위해.

제안 방법

• 모델은 에이전트 역사를 정규화된 의미 지도 기반의 시공간 래스터화된 입력을 딥 컨볼루션 신경망에 제공한다.
• 이산 잔차 흐름 네트워크(DRF-Net)는 로그 확률 공간에서 향후 공간 위치에 대한 마진 확률 분포를 순차적으로 갱신한다.
• 모델은 각 타임스텝에서 로그 공간에서의 흐름 갱신을 통해 독립적인 예측을 개선하는 이산 잔차 정밀화(DRR) 헤드를 사용한다.
• 예측된 이산 분포의 모드 수를 추정하기 위해 새로운 ModePool 연산자가 사용된다. 이는 다중모드성 평가를 가능하게 한다.
• 모델은 샘플링이나 근사적 통합이 필요 없는 이산화된 공간 격자 위의 분류 확률 분포를 예측한다.
• 모델은 예측 불확실성과 분포 정확도를 최적화하기 위해 음수 로그우도(NLL) 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 이산 잔차 흐름 네트워크는 높은 표현력과 낮은 엔트로피를 갖는 다중모드 보행자 행동을 효과적으로 모델링할 수 있는가?
• RQ2 시간에 따라 이산 확률 분포를 갱신하는 방식이 독립적 또는 자동재귀 기반 모델 대비 장기 예측 성능을 향상시키는가?
• RQ3 모델은 의미 지도 정보를 얼마나 잘 활용하여 보행자 궤적 예측을 안내하는가?
• RQ4 제안된 방법은 MDNs나 Social GAN과 같은 최신 기술 모델보다 더 뛰어난 가능성, 이격 오차, 다중모드성 성능을 달성할 수 있는가?
• RQ5 이산 확률 표현 방식은 주행 가능한 영역에서의 정밀도 비율 및 재현율과 같은 안전 중심 지표를 얼마나 향상시키는가?

주요 결과

• DRF-Net은 최고의 연속 혼합 모델(MDN-8) 대비 음수 로그우도(NLL)가 0.56 감소하여 예측 분포 품질이 뚜렷이 향상됨을 보였다.
• 대규모 실생활 데이터셋에서 모든 베이스라인 모델 대비 가능성, 이격 오차, 엔트로피, 다중모드성 지표에서 뛰어난 성능을 보였다.
• DRF-Net은 낮은 엔트로피, 집중된 확률 질량을 생성하여 지도 다각형과 잘 일치시키며 강력한 지도 상호작용과 공간 정확도를 보였다.
• 보행자가 횡단보도를 횡단하는 경우 100%의 정확도로 횡단 보도 접근을 정확히 예측했으며, MDNs와 ConvLSTM는 이러한 행동을 탐지하지 못했다.
• 주행 가능한 영역(Road, Crosswalk)에서의 안전 중심 재현율이 DRF-Net에서 뚜렷이 높아, 핵심 계획 시나리오에서 더 나은 성능을 보였다.
• 절단 실험 결과, 잔차 흐름을 사용한 이산 예측(DRF)이 독립적 이산 예측 및 연속 혼합 모델보다 최고의 가능성 성능을 달성함을 확인했다.