[論文レビュー] Spatial Uncertainty Sampling for End-to-End Control

Alexander Amini, Ava P. Soleimany+2 more|arXiv (Cornell University)|May 13, 2018

Gaussian Processes and Bayesian Inference参考文献 24被引用数 15

ひとこと要約

本稿では、2次元空間ドロップアウトを用いて、標準的な要素単位ドロップアウトよりも正確にモデルの不確実性を推定するベイジアン深層ニューラルネットワークを、エンドツーエンド自動運転制御のために提案する。訓練中に特徴マップの相関を活用することで、よりきめ細かい不確実性推定と高速な収束を達成し、モデルの不確実性が高い場合には人間の入力を優先する共有制御フレームワークを実現する。

ABSTRACT

End-to-end trained neural networks (NNs) are a compelling approach to autonomous vehicle control because of their ability to learn complex tasks without manual engineering of rule-based decisions. However, challenging road conditions, ambiguous navigation situations, and safety considerations require reliable uncertainty estimation for the eventual adoption of full-scale autonomous vehicles. Bayesian deep learning approaches provide a way to estimate uncertainty by approximating the posterior distribution of weights given a set of training data. Dropout training in deep NNs approximates Bayesian inference in a deep Gaussian process and can thus be used to estimate model uncertainty. In this paper, we propose a Bayesian NN for end-to-end control that estimates uncertainty by exploiting feature map correlation during training. This approach achieves improved model fits, as well as tighter uncertainty estimates, than traditional element-wise dropout. We evaluate our algorithms on a challenging dataset collected over many different road types, times of day, and weather conditions, and demonstrate how uncertainties can be used in conjunction with a human controller in a parallel autonomous setting.

研究の動機と目的

• エンドツーエンドの深層学習における自動運転制御の分野で、信頼性の高い不確実性推定が不足しているという問題に取り組む。
• 訓練中に特徴マップ内の空間的相関を活用することで、モデルの不確実性推定を改善する。
• 予測不確実性に基づいて人間とニューラルネットワークの制御を融合する、共有自律制御フレームワークを開発する。
• 空間的ドロップアウトが、実世界のドライブシナリオにおいて、要素単位ドロップアウトよりもきめ細かく正確な不確実性推定をもたらすことを実証する。

提案手法

• 空間的構造をよりよく保ち、特徴マップ間の独立性を促進するため、要素単位ドロップアウトの代わりに、2次元空間ドロップアウト（全特徴マップチャネルにベルヌーイドロップアウトマスクを適用）を採用する。
• 空間ドロップアウトを用いたネットワークの確率的順方向伝播により予測分布を近似し、制御出力の予測平均と分散をそれぞれ出力とその不確実性の推定値として算出する。
• 予測分散をモデルの自信度の指標として用い、分散が大きいほど予測の信頼度が低いことを示す。
• 共有制御戦略は $ u_{PA} = (1 - \sigma) \cdot u_N + \sigma \cdot u_H $ で定式化され、ここで $ \sigma = \kappa \cdot \mathrm{Var}(\mathbf{Y}|\mathbf{X}) $ であり、不確実性に応じてネットワーク命令と人間命令の重みを動的に調整する。
• 逆転半径の平均二乗誤差を最小化するように、確率的勾配降下法を用いて実世界ドライブデータセット上でエンドツーエンドにネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 空間ドロップアウトは、要素単位ドロップアウトと比較して、エンドツーエンドドライブネットワークにおける不確実性推定を改善できるか？
• RQ2 訓練中の特徴マップの相関は、自動制御のための深層ニューラルネットワークにおける不確実性推定の質にどのように影響するか？
• RQ3 ベイジアン深層ニューラルネットワークからの不確実性推定は、人間と機械の間で安全かつ適応的な共有制御を実現するために効果的に利用できるか？
• RQ4 空間ドロップアウトの使用は、実世界のドライブシナリオにおいて、収束速度の向上と一般化性能の向上をもたらすか？

主な発見

• 空間ドロップアウトは、初期エポックにおける損失の急激な低下から、要素単位ドロップアウトと比較して収束が速いことが示された。
• 原点から離れたデータでは予測分散が増加しており、これは、よりきついカーブでは不確実性が高くなるという期待されるモデル挙動と整合的であった。
• 空間ドロップアウトの平均不確実性誤差は1.74であり、要素単位ドロップアウトの2.67と比較して顕著に低く、より信頼性の高い不確実性定量化であることが示された。
• 不確実性推定はデータのスパarsityと整合的であった：訓練例が少ない領域では分散が高くなり、不確実性がデータカバレッジを反映していることが確認された。
• 共有制御フレームワークは、人間とネットワークの命令を効果的に統合し、モデルの不確実性が高い場合には人間の入力が優先された。これにより、曖昧な走行状況下でも安全な運用が可能になった。