[논문 리뷰] Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes

Jong‐Seok Lee, Jianxiang Feng외 3명|arXiv (Cornell University)|2021. 09. 20.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 희소 가우시안 프로세스를 사용하여 딥 네ural 네트워크(DNNs)를 혼합 가우시안 프로세스 전문가(MoE-GP)로 모델링함으로써 예측 불확실성 추정을 위한 확장성 있고 효율적인 방법을 제안한다. 이는 신경장형 커널(NTK)을 통해 DNNs와 MoE-GPs 간의 이론적 연결을 제공하며, 잔디 TX2에서 실시간으로 불확실성 추정을 수행하여 MC-dropout 대비 12배 빠른 성능을 보이며, 역역학 및 물체 탐지와 같은 로봇 작업에서 신뢰할 수 있는 불확실성 추정을 유지한다.

ABSTRACT

This paper presents a probabilistic framework to obtain both reliable and fast uncertainty estimates for predictions with Deep Neural Networks (DNNs). Our main contribution is a practical and principled combination of DNNs with sparse Gaussian Processes (GPs). We prove theoretically that DNNs can be seen as a special case of sparse GPs, namely mixtures of GP experts (MoE-GP), and we devise a learning algorithm that brings the derived theory into practice. In experiments from two different robotic tasks -- inverse dynamics of a manipulator and object detection on a micro-aerial vehicle (MAV) -- we show the effectiveness of our approach in terms of predictive uncertainty, improved scalability, and run-time efficiency on a Jetson TX2. We thus argue that our approach can pave the way towards reliable and fast robot learning systems with uncertainty awareness.

연구 동기 및 목표

• 실시간 로봇 시스템을 위한 신뢰할 수 있고 효율적인 불확실성 추정의 부족을 해결하기 위해.
• DNNs와 가우시안 프로세스 간의 이론적 격차를 메우기 위해 DNNs를 MoE-GPs의 특수한 경우로 보여주기 위해.
• 앙상블 또는 샘플링 없이도 실시간 불확실성 추정이 가능한 실용적인 학습 알고리즘을 개발하기 위해.
• 실제 로봇 하드웨어, 특히 마이크로 항공기(MAV)를 포함한 환경에서 실제 조건과 이상치 데이터를 고려해 방법을 검증하기 위해.
• 대규모 데이터셋(최대 200만 점)으로의 확장성과 분산 학습 지원을 위해.

제안 방법

• 이 방법은 각 전문가가 국소 GP이고 게이팅 함수가 입력 공간을 영역으로 분할하는 혼합 가우시안 프로세스 전문가(MoE-GP)로 DNNs를 모델링한다.
• GP 전문가의 커널 함수로 신경장형 커널(NTK)을 사용하여 DNNs와 GPs 간의 이론적 연결을 가능하게 한다.
• 국소 GP 전문가 간의 경계에서의 불연속성을 줄이기 위해 패치워크 사전분포를 도입하여 부드러움과 일반화 능력을 향상시킨다.
• 입력을 전문가에 할당하기 위해 커널 공간에서의 클러스터링을 사용하여 엄격한 분할과 계산 효율성을 확보한다.
• 활동 학습과 모델 압축을 적용하여 런타임 효율성을 더욱 향상시키고 메모리 사용량을 줄인다.
• 지역적이고 희소한 구조 덕분에 분산 학습을 지원하여 대규모 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크는 희소 가우시안 프로세스, 특히 GP 전문가의 혼합으로 공식적으로 연결될 수 있는가?
• RQ2 이 이론적 연결을 활용하여 로봇 분야의 DNNs에 대해 실용적이고 효율적이며 안정적인 불확실성 추정 방법을 만들 수 있는가?
• RQ3 MC-dropout 및 rLaplace와 같은 기존의 샘플링 기반 및 가중치 공간 방법과 비교할 때, 제안된 방법은 속도와 불확실성 품질 측면에서 어떻게 성능을 내는가?
• RQ4 이 방법은 대규모 데이터셋(예: 200만 점)으로 확장 가능하며, 실생활 로봇 응용을 위한 분산 학습을 지원할 수 있는가?
• RQ5 이 방법은 이상치 데이터를 효과적으로 탐지하고, 잔디 TX2와 같은 임베디드 하드웨어에서 고성능을 유지할 수 있는가?

주요 결과

• 잔디 TX2에서 20개 샘플을 사용한 MC-dropout 대비 12배 빠른 속도로 마이크로 항공기(MAV)에서 실시간 불확실성 추정이 가능해졌다.
• 이 방법은 약 200만 개의 데이터 포인트(KUKA SIM 데이터셋)로도 성공적으로 확장되었으며, 6개의 GPU를 사용해 8시간 내에 학습을 완료하여 강력한 확장성을 입증했다.
• MAV에서 이 방법은 물체 탐지 시 이상치 샘플을 명확히 분리하여, 결정론적 DNNs보다 더 나은 신규성 탐지 성능을 보였다.
• 함수 공간 추론에서 MC-dropout 및 rLaplace보다 더 신뢰할 수 있는 불확실성 추정을 제공하여, GP 기반 불확실성의 우수성을 입증했다.
• 패치워크 사전분포가 국소 GP 전문가 간의 경계 불연속성을 효과적으로 줄여 부드러움과 예측 성능을 향상시켰다.
• 높은 예측 정확도를 유지하면서 캘리브레이션된 불확실성 추정을 제공하여, 안전이 중요한 로봇 내성 인식에 적합하다.