[논문 리뷰] Real-Time Regression with Dividing Local Gaussian Processes

Armin Lederer, Alejandro Jose Ordóñez Conejo외 4명|arXiv (Cornell University)|2020. 06. 16.

Gaussian Processes and Bayesian Inference참고 문헌 45인용 수 5

한 줄 요약

이 논문은 입력 공간을 데이터 기반의 반복적 프로세스로 국소 영역으로 분할하는 새로운 실시간 회귀 방법인 Dividing Local Gaussian Processes (DLGP)를 제안한다. 이는 예측 및 업데이트 시간에서 부분선형 계산 복잡도를 가능하게 하며, 대규모 실세계 데이터셋에서 최신 기술 수준의 정확도와 신뢰할 수 있는 예측 분포를 달성한다. 기존 방법들보다 빠른 속도와 더불어 불확실성 추정에서도 뛰어난 성능을 발휘한다.

ABSTRACT

The increased demand for online prediction and the growing availability of large data sets drives the need for computationally efficient models. While exact Gaussian process regression shows various favorable theoretical properties (uncertainty estimate, unlimited expressive power), the poor scaling with respect to the training set size prohibits its application in big data regimes in real-time. Therefore, this paper proposes dividing local Gaussian processes, which are a novel, computationally efficient modeling approach based on Gaussian process regression. Due to an iterative, data-driven division of the input space, they achieve a sublinear computational complexity in the total number of training points in practice, while providing excellent predictive distributions. A numerical evaluation on real-world data sets shows their advantages over other state-of-the-art methods in terms of accuracy as well as prediction and update speed.

연구 동기 및 목표

• 로봇 공학 및 제어 시스템과 같은 고업데이트 레이트 응용 분야에서 실시간 회귀의 과제를 해결하기 위해.
• 입력 데이터 수 N에 대해 O(N^3) 복잡도를 가지는 정확한 가우시안 프로세스 회귀의 계산 비가용성 문제를 해결하기 위해.
• 빠른 온라인 업데이트를 가능하게 하면서도 높은 예측 정확도와 신뢰할 수 있는 불확실성 정량화를 유지하는 방법을 개발하기 위해.
• 예측 및 업데이트 시간이 훈련 세트 크기에 대해 로그 또는 부분선형 스케일링을 달성하여 실시간 배포를 가능하게 하기 위해.

제안 방법

• 훈련 중에 데이터 기반의 반복적 분할 프로세스를 통해 입력 공간을 국소 영역으로 분할한다.
• 각 영역에 해당하는 훈련 데이터의 서로소 부분집합에 대해 독립적으로 국소 가우시안 프로세스 모델을 훈련시킨다.
• 테스트 점에 가까운 영역에 따라 가중 평균을 사용해 다수의 국소 모델 결과를 조합하여 예측한다.
• 국소 모델의 수와 크기는 각 국소 모델의 최대 훈련 점 수를 제한하는 하이퍼파ram터 ¯N로 제어된다.
• 이웃 영역이 예측에 기여할 수 있도록 동적 오버랩 비율 θ를 사용하여 정확도를 향상시킨다.
• 새로운 데이터 포인트가 영향을 미치는 국소 모델만 재학습함으로써 모델 업데이트를 점진적으로 수행함으로써 저비용 업데이트를 확보한다.

실험 결과

연구 질문

• RQ1 국소 GP 기반 방법이 대규모 데이터셋에서 고정된 정확도를 유지하면서도 예측 및 업데이트 시간에 대해 부분선형 계산 복잡도를 달성할 수 있는가?
• RQ2 DLGP의 예측 성능은 정확한 GP 및 다른 최신 기술 수준의 근사 방법과 비교해 오차와 불확실성 캘리브레이션 측면에서 어떻게 다른가?
• RQ3 고정되거나 무작위로 설정된 분할 방식에 비해 데이터 기반의 입력 공간 분할이 일반화 및 불확실성 추정에 얼마나 더 뛰어난가?
• RQ4 고업데이트 레이트를 가진 실시간 학습 환경에서 훈련 세트 크기가 증가함에 따라 이 방법은 어떻게 스케일링되는가?
• RQ5 정확한 GP 회귀의 계산 한계를 초월하는 훈련 포인트 수가 존재하더라도 DLGP는 높은 성능을 유지할 수 있는가?

주요 결과

• DLGP는 훈련 세트 크기 N에 대해 예측 및 업데이트 시간이 로그 스케일링으로 증가하며, 선형 또는 상수 복잡도를 가지는 기존 방법들보다 뛰어난 성능을 보였다.
• KUKA 플라스크 밀기 데이터셋에서 DLGP100은 모든 관절에서 가장 낮은 nMSE (0.04) 와 NLL (-2.8) 를 기록했으며, 일부 관절에선 정확한 GP보다도 뛰어난 성능을 보였다.
• DLGP의 예측 분포는 다른 GP 근사 방법보다 더 신뢰할 수 있었으며, NLL 값이 정확한 GP에 가까웠고, 관절 6번과 7번에선 정확한 GP보다도 낮았다.
• I-SSGP 및 DTC와 같은 최신 기술 수준의 방법들보다 빠른 업데이트 시간을 기록했으며, 로그 스케일링을 보여 실시간 응용에 적합하다.
• 작은 ¯N = 100 으로도 높은 정확도를 유지했고, ¯N 을 500 으로 늘려도 성능 향상이 유의미하지 않아 하이퍼파ram터 선택에 대해 강건함을 입증했다.
• I-SSGP 및 기타 방법들과 달리 DLGP는 조기 수렴 없이 모든 훈련 데이터에서 학습할 수 있었으며, 이는 제한된 표현력으로 인한 성능 저하를 피했다.