[논문 리뷰] Multi-resolution Multi-task Gaussian Processes

Oliver Hamelijnck, Theodoros Damoulas외 2명|arXiv (Cornell University)|2019. 06. 19.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 8

한 줄 요약

이 논문은 다양한 시공간 해상도와 정밀도를 가진 이질적이고 상관관계가 있으며 노이즈가 섞인 센서 데이터를 통합하는 다중 해상도 다중 작업 가우시안 프로세스 프레임워크(MRGP)를 제안한다. 이는 상호 및 내부 작업 간의 상관관계를 모델링하기 위해 얕은 GP 혼합 모델과 복합 우도함수, 딥 GP 아키텍처를 도입함으로써 런던의 초국소적 대기오염 추정을 정확하게 수행하고 기존 방법에 비해 불확실성 정량화와 예측 성능을 향상시킨다.

ABSTRACT

We consider evidence integration from potentially dependent observation processes under varying spatio-temporal sampling resolutions and noise levels. We develop a multi-resolution multi-task (MRGP) framework while allowing for both inter-task and intra-task multi-resolution and multi-fidelity. We develop shallow Gaussian Process (GP) mixtures that approximate the difficult to estimate joint likelihood with a composite one and deep GP constructions that naturally handle biases in the mean. By doing so, we generalize and outperform state of the art GP compositions and offer information-theoretic corrections and efficient variational approximations. We demonstrate the competitiveness of MRGPs on synthetic settings and on the challenging problem of hyper-local estimation of air pollution levels across London from multiple sensing modalities operating at disparate spatio-temporal resolutions.

연구 동기 및 목표

• 실제 기계학습 응용에서 상관관계가 있는 다중 해상도 및 다중 정밀도 관측 과정을 통합하는 데 도전하는 것.
• 독립성과 편향 없는 관측을 가정하는 기존 가우시안 프로세스 모델의 한계를 극복하여 사후 분포의 수축과 성능 저하를 방지하는 것.
• 정확한 불확실성 정량화를 갖춘 시공간 대기오염 추정을 위한 확장 가능한 비정적, 비모수적 모델을 개발하는 것.
• 기존 접근법을 일반화하여 상호 및 내부 작업 간의 다중 해상도 및 다중 정밀도 학습을 가능하게 하는 것.
• 합성 데이터 및 런던의 초국소적 대기오염 예측에서 프레임워크의 우수성을 입증하는 것.

제안 방법

• 관측 과정 간의 상관관계를 보정하기 위해 복합 우도함수를 사용하는 얕은 GP 혼합 모델인 mr-gprn을 제안한다.
• 잠재 GP를 작업별 가중치 함수로 모델링함으로써 가우시안 집계 모델, 다중 작업 GP, 변분 추론을 확장한다.
• 잠재 함수의 계층적 조합을 통해 관측 과정의 편향을 자연스럽게 처리할 수 있는 딥 GP 구조를 도입한다.
• 정보 이론적 보정과 효율적인 변분 근사법을 활용하여 우도 추정과 확장성 향상을 도모한다.
• 고정 또는 학습 가능한 가중치 행렬을 사용하여 다양한 해상도에서 온 관측값을 통합된 GP 기반 우도 프레임워크에 융합한다.
• 집계된 관측값을 잠재 GP 실현값의 가중합으로 모델링하고, 교차 커널 통합에서 유도된 공분산을 사용하여 시공간 데이터에 적용한다.

실험 결과

연구 질문

• RQ1 다중 해상도 다중 작업 GP 프레임워크는 관측 과정 간의 상관관계를 가정하지 않고도 종속적이고 다중 정밀도, 다중 해상도 센서 데이터를 효과적으로 통합할 수 있는가?
• RQ2 복합 우도함수와 변분 근사법은 관측 과정 간의 복잡한 상관관계가 존재할 경우 사후 추정에 어떻게 기여하는가?
• RQ3 딥 GP 아키텍처는 얕은 모델에 비해 다중 해상도 센서 데이터의 편향과 비정적성을 얼마나 잘 모델링할 수 있는가?
• RQ4 제안된 MRGP 프레임워크는 초국소적 대기오염 예측 과제에서 기존 최첨단 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 신호 대 잡음 비율과 공간-시간 지원이 다양한 데이터를 융합할 때 모델은 정확한 불확실성 정량화를 유지할 수 있는가?

주요 결과

• 관측 과정이 상관관계가 있을 경우, 복합 우도함수를 사용하는 mr-gprn 모델이 표준 GP 모델보다 예측 성능이著명히 향상된다.
• 딥 GP 구조는 다중 해상도 데이터의 편향을 성공적으로 포착하여 체계적인 측정 오차가 존재하는 상황에서 얕은 모델보다 뛰어난 성능을 보인다.
• 합성 데이터에서 MRGP 프레임워크는 i.i.d.가 아니며 다중 정밀도 설정에서 기준 방법에 비해 더 낮은 예측 오차와 더 나은 불확실성 캘리브레이션을 달성한다.
• 런던 대기오염 사례 연구에서, 고주기 저정밀도 센서와 저주기 고정밀도 지상 및 위성 데이터를 융합함으로써 정확한 초국소 예측이 가능해졌다.
• 모델은 다양한 샘플링 해상도와 노이즈 수준에 대해 강건성을 보이며, 진정한 불확실성을 반영하는 개선된 사후 분산 추정치를 제공한다.
• 정보 이론적 보정과 변분 근사법의 사용은 직접적인 공동 우도 추정에 비해 더 안정적이고 확장 가능한 추론을 가능하게 한다.