[논문 리뷰] Bayesian Prediction of Future Street Scenes using Synthetic Likelihoods

Apratim Bhattacharyya, Mario Fritz외 1명|arXiv (Cornell University)|2018. 10. 01.

Time Series Analysis and Forecasting인용 수 23

한 줄 요약

이 논문은 합성 우도를 사용하여 모델 다양성과 불확실성 校정을 향상시킴으로써 다중 모드 미래 스트리트 샷을 예측하는 새로운 베이지안 딥러닝 접근법을 제안한다. 드롭아웃 기반 베이지안 추론을 합성 우도로 수정함으로써, Cityscapes에서 최신 기술 수준(SOTA) 성능을 달성하면서도 잘 校정된 확률적 예측을 제공한다. 이는 결정론적 및 표준 베이지안 기반 모델보다 뛰어나다.

ABSTRACT

For autonomous agents to successfully operate in the real world, the ability to anticipate future scene states is a key competence. In real-world scenarios, future states become increasingly uncertain and multi-modal, particularly on long time horizons. Dropout based Bayesian inference provides a computationally tractable, theoretically well grounded approach to learn likely hypotheses/models to deal with uncertain futures and make predictions that correspond well to observations -- are well calibrated. However, it turns out that such approaches fall short to capture complex real-world scenes, even falling behind in accuracy when compared to the plain deterministic approaches. This is because the used log-likelihood estimate discourages diversity. In this work, we propose a novel Bayesian formulation for anticipating future scene states which leverages synthetic likelihoods that encourage the learning of diverse models to accurately capture the multi-modal nature of future scene states. We show that our approach achieves accurate state-of-the-art predictions and calibrated probabilities through extensive experiments for scene anticipation on Cityscapes dataset. Moreover, we show that our approach generalizes across diverse tasks such as digit generation and precipitation forecasting.

연구 동기 및 목표

• 표준 드롭아웃 기반 베이지안 딥러닝이 평균 예측을 선호하는 우도 최대화로 인해 다중 모드 미래 장면 분포를 잘 포착하지 못하는 한계를 해결하기 위해.
• 자율주행 시나리오에서 불확실하고 다중 모드의 미래 상태를 더 잘 표현하기 위해 모델 다양성을 장려하는 베이지안 프레임워크를 개발하기 위해.
• 장기 예측 장면 예측 작업에서 불확실성 校정과 예측 정확도를 향상시키기 위해.
• 도로 영상 외의 작업, 예를 들어 숫자 생성 및 강수량 예측 등으로의 일반화를 입증하기 위해.

제안 방법

• 학습 중 표준 로그우도 대신 합성 우도를 사용하도록 드롭아웃 기반 베이지안 신경망을 수정한다.
• 모든 모델이 모든 데이터 포인트를 설명해야 한다는 제약 조건을 완화하는 새로운 최적화 목표를 도입하여 모델 앙상블의 다양성을 증진시킨다.
• 각 모델이 관측된 데이터에 정확히 맞추는 대신, 타당한 데이터 샘플을 생성할 수 있는 능력에 따라 평가되는 합성 우도 설정을 사용한다.
• 최종 컨볼루션 레이어에 노이즈 주입을 조건화하기 위해 인식 네트워크를 활용하여 데이터 변동성을 효과적으로 모델링한다.
• 드롭아웃을 사용한 ResNet 기반 인코더-디코더 아키텍처를 활용해 미래 프레임의 세그먼테이션 예측을 수행한다.
• CLL, 校정, 다양한 예측의 정성적 샘플링을 포함한 여러 지표를 사용해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 합성 우도는 다중 모드 미래 장면 예측을 위한 베이지안 딥러닝에서 모델 다양성을 향상시키는 데 기여하는가?
• RQ2 제안된 방법은 장기 예측 장면 예측에서 표준 드롭아웃 기반 베이지안 추론보다 더 높은 예측 정확도와 불확실성 校정을 달성하는가?
• RQ3 이 방법은 도로 영상 외의 다른 다중 모드 예측 작업, 예를 들어 숫자 생성 및 기상 예측 등으로 일반화 가능한가?
• RQ4 모델의 예측 다양성은 보행자 및 차량 운동 모드를 잘 포착하는지, 실제 데이터 분포와 비교해 볼 때 어떻게 되는가?
• RQ5 합성 우도 목표가 표준 베이지안 방법이 평균 예측으로 붕괴되는 경향을 어느 정도 완화하는가?

주요 결과

• Bayes-WD-SL 모델은 Cityscapes 데이터셋에서 최신 기술 수준 성능을 달성하여 결정론적 ResG-Mean 모델과 표준 베이지안 기반 모델을 모두 앞선다.
• Bayes-WD-SL 모델은 Bayes-S 모델보다 뚜렷이 향상되었으며, 이는 합성 우도가 베이지안 딥러닝에서 다양성 문제를 효과적으로 해결함을 보여준다.
• 해당 방법은 뛰어난 불확실성 校정 성능을 보이며, t+10 시점에서 모든 확률 박스에서 예측 확률이 관측 빈도와 매우 유사하게 일치한다.
• 정성적 결과에서는 모델 분포에서 유도된 샘플들이 보행자 및 차량의 타당한 움직임 범위와 잘 일치함을 확인하여 다중 모드 모델링의 성공을 입증한다.
• 이 방법은 숫자 생성 및 강수량 예측과 같은 다른 작업으로도 효과적으로 일반화되며, 데이터 변동성을 잘 포착하는 데서 기존 CVAE 기반 모델보다 뛰어나다.
• CLL 지표는 Bayes-WD-SL 모델의 예측 분포가 다른 모든 모델보다 진짜 데이터 분포와 더 잘 일치함을 확인하여 정확한 불확실성 정량화를 나타낸다.