[논문 리뷰] Continual Multi-task Gaussian Processes

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez외 1명|arXiv (Cornell University)|2019. 10. 31.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 8

한 줄 요약

이 논문은 온라인 학습을 가능하게 하기 위해 유도 입력을 사용하여 변분 추론를 통해 GP 사전분포를 순환적으로 업데이트하는 확장 가능한 지속적 다중작업 가우시안 프로세스 프레임워크를 제안한다. 새로운 KL 발산과 변분 사후분포의 순환 분해를 도입하여 스트리밍, 이질적 또는 다중채널 순차적 데이터에 대해 계산 가능하고 불확실성 인식 학습을 가능하게 하며, 합성 및 실세계 데이터셋에서 강력한 성능을 보여준다.

ABSTRACT

We address the problem of continual learning in multi-task Gaussian process (GP) models for handling sequential input-output observations. Our approach extends the existing prior-posterior recursion of online Bayesian inference, i.e.\ past posterior discoveries become future prior beliefs, to the infinite functional space setting of GP. For a reason of scalability, we introduce variational inference together with an sparse approximation based on inducing inputs. As a consequence, we obtain tractable continual lower-bounds where two novel Kullback-Leibler (KL) divergences intervene in a natural way. The key technical property of our method is the recursive reconstruction of conditional GP priors conditioned on the variational parameters learned so far. To achieve this goal, we introduce a novel factorization of past variational distributions, where the predictive GP equation propagates the posterior uncertainty forward. We then demonstrate that it is possible to derive GP models over many types of sequential observations, either discrete or continuous and amenable to stochastic optimization. The continual inference approach is also applicable to scenarios where potential multi-channel or heterogeneous observations might appear. Extensive experiments demonstrate that the method is fully scalable, shows a reliable performance and is robust to uncertainty error propagation over a plenty of synthetic and real-world datasets.

연구 동기 및 목표

• 순차적이고 i.i.d.가 아닌 입력-출력 관측치에 대해 지속적 학습의 과제를 다루기 위해.
• 과거 데이터를 다시 볼 필요 없이 무한차원 GP 기능 공간에서 순환 베이지안 업데이트를 가능하게 하기 위해.
• 이산 및 연속 관측치를 포함한 다양한 데이터 유형 간의 불확실성 전파에서 확장성과 강건성을 보장하기 위해.
• 통합된 온라인 학습 프레임워크에서 이질적 또는 다중채널 관측치를 지원하기 위해.
• 희소 GP 근사법을 사용하여 예측 불확실성을 시간에 따라 유지하는 계산 가능하고 실현 가능한 추론 방법을 개발하기 위해.

제안 방법

• 기존에 학습된 변분 매개수를 기반으로 조건부 GP 사전분포를 순환적으로 재구성함으로써 온라인 베이지안 추론을 GP 모델로 확장한다.
• 계산 가능성을 확보하기 위해 유도 입력을 사용한 희소 근사를 활용한 변분 추론을 시행한다.
• 과거 변분 사후분포의 새로운 분해법을 통해 시간에 따른 사후 불확실성 전파를 가능하게 한다.
• 현재 변분 근사가 이전 것에 대해 제약을 받도록 하여 안정적인 학습을 보장하기 위해 두 가지 새로운 쿨백-라이블러(KL) 발산을 도입한다.
• 스토케스틱 최적화를 지원하며, 다양한 우도 함수를 사용한 회귀 및 분류 작업에 모두 적용 가능하다.
• 변분 매개수를 최적화하기 위해 최대 5회 반복되는 VEM(Variational Expectation-Maximization) 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 과거 데이터를 다시 볼 필요 없이 온라인 방식으로 지속적으로 업데이트되는 다중작업 GP 모델을 구현할 수 있는가?
• RQ2 기능 공간 설정에서 사후 불확실성을 시간에 따라 신뢰성 있게 전파할 수 있는가?
• RQ3 지속적 학습을 위한 변분 추론 프레임워크에 새로운 KL 발산을 도입할 경우 어떤 영향을 미치는가?
• RQ4 스트리밍, 겹치는, 비동기적 관측치를 포함한 다양한 데이터 유형에서 이 방법은 어떻게 확장되는가?
• RQ5 실세계 상황에서 이질적 또는 다중채널 관측치를 효과적으로 처리할 수 있는가?

주요 결과

• 10개의 합성 및 실세계 데이터셋에서 안정적인 불확실성 전파를 보장하는 완전한 확장 가능한 지속적 학습을 달성한다.
• 스트리밍, 겹치는, 누적 데이터 시퀀스에서의 실험은 낮은 예측 오차와 강건한 불확실성 추정을 보이며 일관된 성능을 보인다.
• 유도점 수가 시간에 따라 선형적으로 증가하더라도 예측 정확도가 유지되며 성능 저하 없이 작동한다.
• MOCAP 및 태양 에너지 데이터셋에서 다중출력 및 비 stationary 관측치를 포함한 복잡한 시간 동역학을 성공적으로 모델링한다.
• 바나나 분류 실험은 임계값 설정 확률 출력을 통해 정확한 이진 예측과 적절한 불확실성 캘리브레이션을 보여준다.
• 동기 및 이방향 다중작업 회귀 실험은 공유된 잠재 기능과 다양한 노이즈 수준을 가진 상관관계 있는 출력을 모델링할 수 있음을 확인한다.