[논문 리뷰] Multi-task Learning for Aggregated Data using Gaussian Processes

Fariba Yousefi, Michael Thomas Smith외 1명|arXiv (Cornell University)|2019. 06. 22.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 6

한 줄 요약

이 논문은 다양한 공간적 또는 시간적 지지도에서 측정된 변수를 다양한 입력 스케일에 걸쳐 통합된 잠재 함수를 사용하여 공동으로 학습하는 다중 작업 가우시안 프로세스 모델을 제안한다. 각 작업을 공유 잠재 과정의 선형 조합으로 모델링하고, 스토케스틱 변분 추론을 통해 이질적인 가능도를 허용함으로써, 공기 오염 모델링에서 저비용 고주기 센서 데이터와 고정확도 저주기 데이터를 융합할 때 SMSE가 33% 감소하는 등 예측 정확도를 향상시킨다.

ABSTRACT

Aggregated data is commonplace in areas such as epidemiology and demography. For example, census data for a population is usually given as averages defined over time periods or spatial resolutions (cities, regions or countries). In this paper, we present a novel multi-task learning model based on Gaussian processes for joint learning of variables that have been aggregated at different input scales. Our model represents each task as the linear combination of the realizations of latent processes that are integrated at a different scale per task. We are then able to compute the cross-covariance between the different tasks either analytically or numerically. We also allow each task to have a potentially different likelihood model and provide a variational lower bound that can be optimised in a stochastic fashion making our model suitable for larger datasets. We show examples of the model in a synthetic example, a fertility dataset, and an air pollution prediction application.

연구 동기 및 목표

• 에피디미올로지, 인구통계학, 환경 센싱 등에서 관측치가 서로 다른 공간적 또는 시간적 지지도에서 수집되는 다중 척도 집계 데이터를 모델링하는 과제를 해결한다.
• 기존 GP 모델이 균일한 입력 지지도나 동일한 가능도를 가정하는 데서 비롯되는 제약을 극복하며, 특히 다양한 데이터 해상도에서 연속형, 카운트형, 이진형 등의 혼합형 출력을 처리하는 데에 유용하다.
• 다른 입력 지지도와 가능도 모델을 가진 여러 작업의 공동 학습을 가능하게 하는 확장성 있고 유연한 프레임워크를 개발하며, 공유 잠재 과정을 통해 작업 간 상관관계를 유지한다.
• 고주기, 저정확도 데이터를 활용하여 저해상도, 고정확도 관측치의 정밀도를 향상시킴으로써 정밀한 고해상도 예측을 가능하게 한다. 이는 추정의 정밀도를 향상시킨다.

제안 방법

• 각 작업을 잠재 가우시안 프로세스의 선형 조합으로 모델링하며, 관측된 작업 출력은 특정 지지도(예: 시간 간격 또는 공간 영역)에서 잠재 함수의 적분으로 정의된다.
• 교차 작업 공분산을 표현하기 위해 선형 공역화 모델(LMC)을 사용하여 이질적인 가능도(Gaussian, Poisson 등)와 작업 간의 다소 유연한 의존성 구조를 허용한다.
• 잠재 GP 커널을 각 작업의 지지도에 걸쳐 적분하여 작업 간 공분산을 분석적 또는 수치적으로 표현함으로써, 상호 작업 상관관계의 정확한 계산을 가능하게 한다.
• 대규모 데이터셋에 대해 계산 복잡도를 감소시키기 위해 잠재 함수 수준에서 유도 입력을 도입하여 스케일러블 추론을 가능하게 한다.
• 미니배치를 사용한 스 tochastic 최적화를 지원하는 변분 하한을 제안함으로써, 대규모 집계 데이터셋에서의 효율적 학습을 가능하게 한다.
• 변분 EM을 적용하여 초모수와 잠재 변수를 동시에 최적화함으로써, 모델 구조와 파rameter의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 각 작업이 서로 다른 입력 지지도(예: 시간 간격 또는 공간 영역)에서 정의되고, 가능도가 다를 수 있는 다중 작업 학습 문제를 다룰 수 있도록 가우시안 프로세스를 어떻게 확장할 수 있는가?
• RQ2 잠재 GP 통합을 통해 서로 다른 지지도를 가진 작업 간의 공분산을 분석적 또는 수치적으로 계산할 수 있으며, 이는 예측 성능에 어떤 영향을 미치는가?
• RQ3 고주기, 저정확도 센서 데이터를 통합할 경우, 환경 모니터링 응용 분야에서 저해상도, 고정확도 예측의 정확도가 어느 정도 향상되는가?
• RQ4 특히 대규모 데이터셋에서 이질적인 가능도와 다중 척도 지지도를 가진 다중 작업 GP 모델에서 스케일러블 추론을 어떻게 달성할 수 있는가?
• RQ5 실제 집계 데이터에 적용했을 때, 제안된 프레임워크가 단일 작업 모델이나 기존 다중 작업 GP 접근법보다 예측 정확도와 강건성 면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• PM2.5 예측에서 저비용 고주기 센서 데이터와 저주기 고정확도 측정치를 융합할 때, SMSE가 통계적으로 유의미하게 33% 감소(0.439 ± 0.114 vs. 0.657 ± 0.100)하였다.
• 편향이 있는 센서 데이터일지라도, 다중 해상도 관측치에서 학습할 수 있는 모델의 능력 덕분에 저해상도 오염 수준 예측 정확도가 향상되었다.
• 저해상도 데이터의 적분 제약 조건(예: 6시간 평균)을 성공적으로 유지하면서도, 관측된 추세와 일치하는 고해상도 예측을 생성하였다.
• 잠재 공간에서의 유도 포인트 사용으로 스케일러블 추론이 가능해져, 스토케스틱 변분 추론을 통해 대규모 데이터셋에 대한 모델의 처리 가능성을 확보하였다.
• 이질적인 가능도와 다양한 입력 지지도에 대해 강건성을 보이며, 시뮬레이션 및 실세계 응용에서 단일 작업 기반 모델보다 뛰어난 성능을 보였다.
• 미니배치를 사용한 변분 EM 알고리즘은 효율적인 최적화를 가능하게 하여, 대규모 데이터를 가진 실세계 환경 모니터링 문제에 모델의 적용을 지원하였다.