[論文レビュー] Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes

Jong‐Seok Lee, Jianxiang Feng+3 more|arXiv (Cornell University)|Sep 20, 2021

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本論文は、スパースガウス過程を用いて深層ニューラルネットワーク（DNN）を混合ガウス過程エキスパート（MoE-GP）としてモデル化することで、スケーラブルで効率的な予測不確実性推定手法を提案する。理論的にDNNとMoE-GPの関係をニューラル接線カーネル（NTK）を用いて示し、Jetson TX2上でリアルタイムの不確実性推定を実現。MCドロップアウトと比較して12倍高速でありながら、逆運動学や物体検出を含むロボットタスクにおいて信頼性の高い不確実性推定を維持した。

ABSTRACT

This paper presents a probabilistic framework to obtain both reliable and fast uncertainty estimates for predictions with Deep Neural Networks (DNNs). Our main contribution is a practical and principled combination of DNNs with sparse Gaussian Processes (GPs). We prove theoretically that DNNs can be seen as a special case of sparse GPs, namely mixtures of GP experts (MoE-GP), and we devise a learning algorithm that brings the derived theory into practice. In experiments from two different robotic tasks -- inverse dynamics of a manipulator and object detection on a micro-aerial vehicle (MAV) -- we show the effectiveness of our approach in terms of predictive uncertainty, improved scalability, and run-time efficiency on a Jetson TX2. We thus argue that our approach can pave the way towards reliable and fast robot learning systems with uncertainty awareness.

研究の動機と目的

• リアルタイムのロボットシステムにおける、信頼性の高いかつ効率的な不確実性推定の欠如に対処すること。
• DNNとガウス過程の間の理論的ギャップを埋め、DNNをMoE-GPの特別なケースとして示すこと。
• アンサンブルやサンプリングを必要としない、実用的な学習アルゴリズムを開発し、リアルタイムの不確実性推定を可能にすること。
• マイクロ・エアリアル・ビークル（MAV）を含む実際のロボットハードウェア上で、分布外データを含む現実世界の条件下で手法を検証すること。
• 大規模データセット（最大200万点）へのスケーラビリティと分散学習のサポートを実現すること。

提案手法

• 本手法は、DNNを混合ガウス過程エキスパート（MoE-GP）としてモデル化し、各エキスパートを局所的ガウス過程（GP）とし、ゲーティング関数で入力空間を領域に分割する。
• GPエキスパートにおけるカーネル関数としてニューラル接線カーネル（NTK）を用いることで、DNNとGPの理論的接続を実現する。
• 境界における不連続性を低減するため、パッチワーク事前分布を導入し、滑らかさと一般化性能を向上させる。
• 学習アルゴリズムは、カーネル空間におけるクラスタリングを用いて入力をエキスパートに割り当て、厳密な分割と計算効率を確保する。
• アクティブラーニングとモデル圧縮を適用することで、実行時効率をさらに向上させ、メモリ使用量を削減する。
• 局所的かつスパースな構造のため、分散学習をサポートし、大規模データセットへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、スパースガウス過程として、具体的に混合GPエキスパート（MoE-GP）として正式に接続できるか？
• RQ2 この理論的接続を活用して、ロボティクス分野における実用的で効率的かつ信頼性の高いDNNの不確実性推定手法を構築できるか？
• RQ3 MCドロップアウト や rLaplace などの従来のサンプリングベースや重み空間の手法と比較して、本手法の速度と不確実性の質はどのように異なるか？
• RQ4 本手法は、大規模データセット（例：200万点）にスケーリング可能であり、現実のロボットアプリケーションにおける分散学習をサポートできるか？
• RQ5 本手法は、分布外のサンプルを効果的に検出でき、Jetson TX2などの埋め込みハードウェアでも高い性能を維持できるか？

主な発見

• Jetson TX2上で20サンプルのMCドロップアウトと比較し、12倍高速化され、マイクロ・エアリアル・ビークル（MAV）でもリアルタイムの不確実性推定が可能になった。
• 本手法は約200万データポイント（KUKA SIMデータセット）にスケーリング可能であり、6台のGPUを用いて8時間以内に学習完了を達成し、強力なスケーラビリティを示した。
• MAV上での実験では、物体検出タスクにおいて分布外サンプルが明確に分離され、決定的DNNと比較してノベルティ検出性能が向上した。
• 関数空間推論において、MCドロップアウト や rLaplace よりも信頼性の高い不確実性推定が得られ、GPベースの不確実性の優位性が裏付けられた。
• パッチワーク事前分布は、局所的GPエキスパート間の境界における不連続性を効果的に低減し、滑らかさと予測性能を向上させた。
• 本手法は、高い予測精度を維持しながらも、校正された不確実性を提供するため、安全が求められるロボットの自己認識に適している。