[논문 리뷰] Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes

Weitong Ruan, Eric L. Miller|arXiv (Cornell University)|2017. 09. 22.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 4

한 줄 요약

이 논문은 각 출력을 다수의 잠재 과정에 대한 가중 혼합으로 표현하는 앙상블 다중작업 가우시안 프로세스 회귀 모델을 제안한다. 공분산 행렬은 작업별 가중치와 공간 공분산 행렬 간의 크로네cker 곱의 합으로 분해된다. 이 방법은 미니배치 앙상블 훈련을 통해 병렬화 가능한 이단계 훈련 알고리즘을 사용하며, 실제 데이터셋에서 기준 모델 대비 평균 제곱 오차(MSE)가 17.9–23.7% 낮고, 평균 절대 오차(MAE)가 7.5–14.9% 낮아졌으며, 고급 단일작업 GP 방법의 통합을 가능하게 한다.

ABSTRACT

Multi-task/Multi-output learning seeks to exploit correlation among tasks to enhance performance over learning or solving each task independently. In this paper, we investigate this problem in the context of Gaussian Processes (GPs) and propose a new model which learns a mixture of latent processes by decomposing the covariance matrix into a sum of structured hidden components each of which is controlled by a latent GP over input features and a "weight" over tasks. From this sum structure, we propose a parallelizable parameter learning algorithm with a predetermined initialization for the "weights". We also notice that an ensemble parameter learning approach using mini-batches of training data not only reduces the computation complexity of learning but also improves the regression performance. We evaluate our model on two datasets, the smaller Swiss Jura dataset and another relatively larger ATMS dataset from NOAA. Substantial improvements are observed compared with established alternatives.

연구 동기 및 목표

• 기존의 다중작업 GP 모델이 단일 공유 잠재 과정을 가정함으로써 모델링의 유연성이 제한되는 점을 해결하기 위해.
• 각 작업이 데이터 기반 가중치를 가진 다수의 잠재 과정의 혼합으로 생성되도록 허용하여 회귀 성능을 향상시키기 위해.
• 미니배치 앙상블 훈련을 통한 병렬화 가능한 이단계 학습 알고리즘을 통해 계산 복잡도를 줄이고 확장성을 향상시키기 위해.
• 최신 단일작업 GP 알고리즘을 다중작업 학습에 원활하게 통합할 수 있도록 하되, 전체 프레임워크를 재설계하지 않도록 하기 위해.

제안 방법

• 모델은 각 작업의 공분산 행렬을 작업별 가중치 벡터와 개별 잠재 과정의 공간 공분산 행렬 간의 크로네cker 곱의 합으로 표현한다.
• 각 작업의 출력은 다수의 잠재 GP에 대한 선형 조합으로 모델링되며, 가중치는 데이터로부터 학습되어 공유된 표현의 유연하고 작업별 맞춤형 혼합을 가능하게 한다.
• 이단계 학습 알고리즘을 제안한다: 첫 번째 단계에서는 각 작업별로 독립된 GP를 훈련하여 잠재 과정의 파라미터를 초기화하고, 두 번째 단계에서는 모든 작업을 대상으로 미니배치 앙상블을 사용해 가중치를 학습한다.
• 앙상블 접근법은 서로 다른 미니배치에서 훈련된 다수의 회귀기 사용을 기반으로 하며, 최종 예측은 평균을 내어 분산을 줄이고, 뜻밖에도 정확도를 향상시킨다.
• 알고리즘은 병렬화 가능하다: 첫 번째 단계는 각 작업별로 잠재 과정을 병렬로 훈련하고, 두 번째 단계는 미니배치 처리를 통해 계산을 확장한다.
• 프레임워크는 스퍼스 GP, 변분 추론, 분산 GP 전문가 모델과 같은 현대적 GP 기법과 호환되며, 고급 단일작업 방법의 즉각적인 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 각 작업을 다수의 잠재 과정 혼합으로 모델링하는 것이 단일 잠재 과정 모델을 초월해 다중작업 회귀 성능을 향상시킬 수 있는가?
• RQ2 다중작업 GP 프레임워크에서 미니배치 앙상블 훈련을 사용하면 계산 비용을 줄이면서 일반화 및 정확도를 향상시킬 수 있는가?
• RQ3 제안된 이단계 병렬화 가능한 학습 알고리즘이 모델 표현력 손실 없이 더 큰 데이터셋에 효과적으로 스케일링될 수 있는가?
• RQ4 프레임워크가 아키텍처 재설계 없이 최신 단일작업 GP 알고리즘을 다중작업 환경에 얼마나 잘 통합할 수 있는가?

주요 결과

• 제안된 EMGPR 모델은 스위스 줌라 데이터셋에서 '전이 없음' GP 기준 모델 대비 평균 제곱 오차(MSE)가 17.9% 향상되었다.
• 동일한 데이터셋에서 EMGPR는 R₁=3인 ICM 모델 대비 MSE에서 23.7% 향상되어 더 높은 모델 복잡도에서도 뛰어난 성능을 보였다.
• EMGPR 모델은 모든 실험에서 가장 낮은 표준편차(SD)를 기록하여 모든 기준 모델 대비 더 높은 안정성과 낮은 분산을 보였다.
• 평균 절대 오차(MAE) 측면에서 EMGPR는 가장 우수한 ICM(R₁=1) 버전 대비 8.8% 향상되었고, '전이 없음' GP 기준 모델 대비 7.5% 향상되었다.
• 앙상블 훈련 접근법은 주로 계산 효율성을 위해 고안되었지만, 뜻밖에도 예측 정확도가 향상되었으며, 이는 분산 감소에서 기인하는 유익한 인덕티브 바이어스임을 시사한다.
• EMGPR 모델은 10회의 실험 런 모두에서 모든 기준 모델을 앞서며 일관되고 신뢰할 수 있는 성능 향상을 보였다.