[논문 리뷰] Online Sparse Gaussian Process Training with Input Noise

Hildo Bijl, Thomas B. Schön외 2명|arXiv (Cornell University)|2016. 01. 29.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 입력 포인트를 효율적으로 처리하고 새로운 측정치를 일정 시간 내에 통합할 수 있는 새로운 온라인 희소 가우시안 프로세스 회귀 알고리즘인 SONIG를 제안한다. 희소 근사와 온라인 학습, 입력 노이즈 모델링을 결합함으로써 기존 방법에 비해 뛰어난 정확도와 확장성을 달성하며, 비선형 블랙박스 시스템 식별에서 뛰어난 성능을 보여준다.

ABSTRACT

Gaussian process regression traditionally has three important downsides. (1) It is computationally intensive, (2) it cannot eciently implement newly obtained measurements online, and (3) it cannot deal with stochastic (noisy) input points. In this paper we present an algorithm tackling all these three issues simultaneously. The resulting Sparse Online Noisy Input GP (SONIG) regression algorithm can incorporate new measurements in constant runtime. A comparison has shown that it is more accurate than similar existing regression algorithms. In addition, the algorithm can be applied to non-linear black-box system modeling, where its performance is competitive with non-linear ARX models.

연구 동기 및 목표

• 기존 가우시안 프로세스 회귀의 계산 비효율성을 해결하기 위해.
• 온라인 학습 환경에서 새로운 측정치를 실시간으로 통합할 수 있도록 하기 위해.
• 표준 GP 방법이 효과적으로 처리하지 못하는 확률적(노이즈가 있는) 입력 포인트를 모델링하기 위해.
• 비선형 블랙박스 시스템 식별에 적합한 확장성 있고 정확한 회귀 방법을 개발하기 위해.
• 정확도와 효율성 측면에서 기존의 온라인 및 희소 GP 방법을 능가하기 위해.

제안 방법

• 알고리즘은 전체 데이터를 표현하기 위해 유도 포인트의 집합을 사용하는 희소 근사를 통해 계산 복잡도를 감소시킨다.
• 진짜 입력을 관측된 노이즈가 있는 입력 주변의 가우시안 분포를 가진 잠재 변수로 모델링하여 입력 노이즈를 통합한다.
• 후행 분포를 점진적으로 업데이트하기 위해 온라인 학습을 활용하여, 각 새로운 데이터 포인트마다 일정 시간 내에 업데이트가 가능하다.
• 변분 추론 프레임워크를 사용하여 후행 분포를 근사함으로써, 초모수와 유도 포인트의 효율적 최적화를 가능하게 한다.
• 고정된 크기의 표현을 유지하므로 스트리밍 또는 대규모 데이터 응용에 적합하다.
• 희소 GP, 온라인 학습, 입력 노이즈 모델링을 통합한 유일한 프레임워크를 통해 실시간 정확한 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 회귀 방법이 노이즈가 있는 입력 포인트를 효율적으로 처리하면서도 계산 가능성을 유지할 수 있는가?
• RQ2 희소 GP에 온라인 학습을 통합하여 새로운 데이터로 일정 시간 내 업데이트가 가능한가?
• RQ3 제안된 방법이 기존의 온라인 및 희소 GP 접근법에 비해 정확도와 확장성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 비선형 블랙박스 시스템 식별 작업에서 이 방법의 성능은 어떠한가?
• RQ5 희소성과 온라인 업데이트를 통해 계산 비용을 줄이면서도 예측 정확도를 유지할 수 있는가?

주요 결과

• SONIG 알고리즘은 새로운 측정치에 대해 일정 시간 내 업데이트를 달성하여 배치 GP 방법에 비해 효율성이 크게 향상된다.
• 실증적 비교에서 유사한 온라인 및 희소 GP 회귀 알고리즘에 비해 더 높은 정확도를 보였다.
• 입력 불확실성을 명시적으로 모델링함으로써 노이즈가 있는 입력 포인트를 효과적으로 처리하여 강건성을 향상시켰다.
• 비선형 ARX 모델과 비교해도 비선형 시스템 식별 작업에서 경쟁력 있는 성능을 보였다.
• 대규모 또는 스트리밍 데이터 세트에 대해 효율적으로 확장되면서도 높은 예측 성능를 유지했다.
• 희소성, 온라인 학습, 입력 노이즈 모델링의 통합은 강건하고 실용적인 회귀 프레임워크를 만들어냈다.