[論文レビュー] Bayesian Prediction of Future Street Scenes using Synthetic Likelihoods

Apratim Bhattacharyya, Mario Fritz+1 more|arXiv (Cornell University)|Oct 1, 2018

Time Series Analysis and Forecasting被引用数 23

ひとこと要約

本稿では、合成尤度を用いてモデルの多様性と不確実性のキャリブレーションを向上させることで、マルチモーダルな将来のストリートシーンを予測する新しいベイジアンディープラーニング手法を提案する。ドロップアウトに基づくベイジアン推論を合成尤度に修正することで、Cityscapes上で最先端の性能を達成し、well-calibratedな確率的予測を生成する。決定論的および標準的なベイジアンベースラインを上回る。

ABSTRACT

For autonomous agents to successfully operate in the real world, the ability to anticipate future scene states is a key competence. In real-world scenarios, future states become increasingly uncertain and multi-modal, particularly on long time horizons. Dropout based Bayesian inference provides a computationally tractable, theoretically well grounded approach to learn likely hypotheses/models to deal with uncertain futures and make predictions that correspond well to observations -- are well calibrated. However, it turns out that such approaches fall short to capture complex real-world scenes, even falling behind in accuracy when compared to the plain deterministic approaches. This is because the used log-likelihood estimate discourages diversity. In this work, we propose a novel Bayesian formulation for anticipating future scene states which leverages synthetic likelihoods that encourage the learning of diverse models to accurately capture the multi-modal nature of future scene states. We show that our approach achieves accurate state-of-the-art predictions and calibrated probabilities through extensive experiments for scene anticipation on Cityscapes dataset. Moreover, we show that our approach generalizes across diverse tasks such as digit generation and precipitation forecasting.

研究の動機と目的

• 標準的なドロップアウトに基づくベイジアンディープラーニングが、尤度最大化が平均予測を好むため、マルチモーダルな将来のシーン分布を十分に捉えられていないという制限に対処すること。
• 自律走行のシナリオにおける不確実でマルチモーダルな将来状態をよりよく表現できるよう、モデルの多様性を促進するベイジアンフレームワークを開発すること。
• 長時間予測タスクにおける不確実性のキャリブレーションと予測精度を向上させること。
• ストリートシーンにとどまらず、数字生成や降水予測といったタスクへも一般化できることを示すこと。

提案手法

• 訓練中に標準的な対数尤度の代わりに合成尤度を使用するように、ドロップアウトに基づくベイジアンニューラルネットワークを適応させる。
• すべてのモデルがすべてのデータポイントを説明する必要があるという制約を緩和する新しい最適化目的を導入し、モデルアンサンブル内の多様性を促進する。
• 各モデルが観測データに正確にフィットするのではなく、妥当なデータサンプルを生成できる能力に基づいて評価される、合成尤度の定式化を採用する。
• 最終畳み込み層でのノイズ注入を条件付けるための認識ネットワークを用い、データのばらつきを効果的にモデル化する。
• ドロップアウトを用いたResNetベースのエンコーダデコーダアーキテクチャを用いて、将来のフレームにおけるセマンティックセグメンテーション予測に適用する。
• CLL、キャリブレーション、多様な予測の定性的なサンプリングといった複数の指標を用いて、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 合成尤度は、マルチモーダルな将来のシーン予測におけるベイジアンディープラーニングのモデル多様性を向上させることができるか？
• RQ2 提案手法は、長時間予測タスクにおける予測精度と不確実性キャリブレーションにおいて、標準的なドロップアウトに基づくベイジアン推論を上回るか？
• RQ3 本手法は、ストリートシーンにとどまらず、数字生成や天気予報といった他のマルチモーダル予測タスクへ一般化可能か？
• RQ4 モデルの予測多様性は、歩行者や車両の運動モードを捉える観点で、真のデータ分布と比較してどの程度優れているか？
• RQ5 合成尤度の目的関数は、標準的なベイジアン手法が平均予測に収束する傾向をどの程度軽減するか？

主な発見

• Bayes-WD-SLモデルは、Cityscapesデータセットで最先端の性能を達成し、決定論的ResG-Meanモデルおよび標準的なベイジアンベースラインを上回った。
• Bayes-WD-SLモデルはBayes-Sモデルを顕著に上回り、合成尤度がベイジアンディープラーニングにおける多様性の問題を効果的に解決できることを示した。
• 本手法は優れた不確実性キャリブレーションを達成し、t+10におけるすべての確率バケットで予測確率が観測頻度とよく一致した。
• 定性的な結果から、モデル分布からのサンプルが歩行者や車両の妥当な動きの範囲とよく一致しており、マルチモーダルモデリングが正しく実現されていることが確認された。
• 本手法は他のタスクに対しても効果的に一般化され、数字生成や降水予測の分野でも、ベースラインのCVAEモデルを上回り、データのばらつきをうまく捉えた。
• CLL指標により、Bayes-WD-SLモデルの予測分布が他のすべてのモデルよりも真のデータ分布に近いことが確認され、正確な不確実性の定量化が行われていることが示された。