[논문 리뷰] Sparse Gaussian Process Temporal Difference Learning for Marine Robot Navigation

John D. Martin, Jinkun Wang외 1명|arXiv (Cornell University)|2018. 10. 02.

Gaussian Processes and Bayesian Inference인용 수 8

한 줄 요약

이 논문은 해양 로봇 주행을 위한 데이터 효율성과 예측 정확도를 향상시키는 스파스 가우시안 프로세스 시간 차분 학습 방법인 spgp-sarsa를 제안한다. 기존의 기각 기반 방법 대신 변분 추론을 사용하는 새로운 스파스 근사 방법을 도입함으로써, 최소한의 데이터로 거의 최적의 성능를 달성한다. 실제 수중 로봇 실험에서 단 8개의 전이(transition)만으로도 거의 최적의 정책을 학습한 바를 통해 이를 입증하였다.

ABSTRACT

We present a method for Temporal Difference (TD) learning that addresses several challenges faced by robots learning to navigate in a marine environment. For improved data efficiency, our method reduces TD updates to Gaussian Process regression. To make predictions amenable to online settings, we introduce a sparse approximation with improved quality over current rejection-based sparse methods. We derive the predictive value function posterior and use the moments to obtain a new algorithm for model-free policy evaluation, SPGP-SARSA. With simple changes, we show SPGP-SARSA can be reduced to a model-based equivalent, SPGP-TD. We perform comprehensive simulation studies and also conduct physical learning trials with an underwater robot. Our results show SPGP-SARSA can outperform the state-of-the-art sparse method, replicate the prediction quality of its exact counterpart, and be applied to solve underwater navigation tasks.

연구 동기 및 목표

• 제한된 센서 데이터와 온라인 학습 제약 조건으로 인해 발생하는 해양 로봇 강화 학습의 데이터 부족 문제를 해결한다.
• 시간 차분 학습을 가우시안 프로세스 회귀로 재구성함으로써 모델에 종속되지 않는 정책 평가의 데이터 효율성을 향상시킨다.
• 데이터 기각을 피하는 스파스 근사 방법을 개발하여 기존의 저랭크 방법보다 더 낮은 근사 오차를 달성한다.
• 제한된 계산 및 센서 자원을 가진 수중 로봇에 적합한 온라인, 실시간 가치 함수 예측을 가능하게 한다.
• 최소한의 학습 데이터로도 시뮬레이션 및 실제 수중 로봇 실험에서의 방법의 효과성을 입증한다.

제안 방법

• 값의 차이를 진짜 가치 함수의 노이즈 있는 관측값으로 모델링하여 시간 차분 학습을 가우시안 프로세스 회귀로 재구성한다.
• 지지점의 수 M ≪ N 인 스파스 가짜 입력 근사(sparsity)를 사용하여 계산 복잡도를 O(N³)에서 O(NM²)로 감소시킨다.
• 데이터를 기각하지 않고 근사 모수를 학습하기 위해 변분 추론 프레임워크를 도입하여, 우도 최적화에서의 불안정성을 방지한다.
• 스파스 GP의 모멘트를 이용해 가치 함수의 예측 후행 분포를 유도함으로써 불확실성 인식 정책 평가를 가능하게 한다.
• GP 프레임워크 내에서 시간 차분 업데이트를 사용해 가치 함수 추정치를 갱신하는 모델에 종속되지 않는 정책 평가 알고리즘인 spgp-sarsa를 개발한다.
• 기본 동역학을 통합함으로써 spgp-sarsa를 모델 기반 변형인 spgp-td로 확장하여 다양한 학습 환경에 적용 가능성을 넓힌다.

실험 결과

연구 질문

• RQ1 스파스 가우시안 프로세스 회귀는 해양 로봇 주행을 위한 시간 차분 학습에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 제안된 스파스 근사 방법은 기존의 기각 기반 스파스화 방법에 비해 예측 정확도와 최적화 안정성 측면에서 어떻게 비교되는가?
• RQ3 실제 수중 로봇 환경에서 매우 적은 수의 전이(전이 수가 적은 경우)로도 거의 최적의 주행 정책을 학습할 수 있는가?
• RQ4 이러한 방법은 온라인, 실시간 로봇 학습 시나리오에서 계산 효율성이 얼마나 되는가?
• RQ5 spgp-sarsa의 예측 성능은 정확한 GP-TD 기준선 및 최신 기술의 스파스 방법과 비교해 어떻게 되는가?

주요 결과

• spgp-sarsa는 계산 효율성을 유지하면서도 정확한 GP-TD 방법과 비슷한 예측 품질을 달성하였다.
• 모델 선택 과정에서 예측 정확도와 안정성 측면에서 최신 기술의 스파스 근사 방법을 능가하였다.
• 실제 블루로브(BlueROV) 실험에서 단 8개의 전이만으로도 spgp-sarsa가 거의 최적의 가치 함수와 정책을 성공적으로 학습하였다.
• 2.8GHz i7 프로세서에서 평균 정책 업데이트 시간은 0.013 ± 7×10⁻⁴ 초였으며, 실시간 실행 가능성은 확인되었다.
• 변분 추론을 사용한 스파스 근사 방법은 기존 기각 기반 방법에서 흔히 발생하는 우도 불안정성을 피하였다.
• 실제 환경 제약 조건에서 센서 드리프트와 초기 위치 불확실성에 대해 강건성을 보이며 신뢰할 수 있는 학습을 가능케 하였다.