[논문 리뷰] Modular Gaussian Processes for Transfer Learning

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez외 1명|arXiv (Cornell University)|2021. 10. 26.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 1

한 줄 요약

이 논문은 원본 데이터를 재처리하지 않고도 메타-GP 모델을 구축할 수 있도록 해주는 모듈형 가우시안 프로세스 프레임워크를 소개한다. 변분 추론과 KL 발산 기반 적분 보정을 활용하여 기존 데이터 재학습을 피하고 계산 비용을 절감하며, 다중 출력 및 이질적 이탈률을 지원함으로써 재현성, 분류, 다중 작업 학습 벤치마크에서 최신 기술 수준의 성능을 달성한다. 학습 데이터에 다시 접근하지 않음으로써 성능을 유지한다.

ABSTRACT

We present a framework for transfer learning based on modular variational Gaussian processes (GP). We develop a module-based method that having a dictionary of well fitted GPs, one could build ensemble GP models without revisiting any data. Each model is characterised by its hyperparameters, pseudo-inputs and their corresponding posterior densities. Our method avoids undesired data centralisation, reduces rising computational costs and allows the transfer of learned uncertainty metrics after training. We exploit the augmentation of high-dimensional integral operators based on the Kullback-Leibler divergence between stochastic processes to introduce an efficient lower bound under all the sparse variational GPs, with different complexity and even likelihood distribution. The method is also valid for multi-output GPs, learning correlations a posteriori between independent modules. Extensive results illustrate the usability of our framework in large-scale and multi-task experiments, also compared with the exact inference methods in the literature.

연구 동기 및 목표

• 대규모 및 개인정보 감수성이 높은 환경에서 중심 집중식 데이터 재처리의 한계를 해결하기 위해.
• 새로운 작업을 위해 모델을 조합할 때 원본 학습 데이터에 다시 접근할 필요 없이 이를 제거하기 위해.
• 기존에 학습된 GP 모듈의 파라미터만을 사용하여 효율적이고 확장 가능하며 개인정보 보호 기반 전이 학습을 가능하게 하기 위해.
• 재학습 없이도 다중 출력 및 이질적 이탈률 모델(예: 가우시안, 베르누이)을 지원하기 위해.
• 모듈 기반 조합을 통해 다양한 작업 간에 학습된 불확실성 측정치를 유지하기 위해.

제안 방법

• 모듈형 구성 요소로 희소 변분 가우시안 프로세스를 사용하며, 각 모듈은 하이퍼파rameter, 가짜 입력, 사후 밀도만 저장한다.
• 스토케스틱 프로세스 간의 쿨백-라이블러 발산 기반으로 새로운 하한을 유도한 적분 연산자를 도입한다.
• 원본 데이터에 접근하지 않고도 독립된 GP 모듈의 변분 파라미터만을 사용하여 메타-GP 모델을 구성한다.
• 이상치 이탈률을 지원하기 위해, GP 출력과 이탈률 파라미터 간의 연결을 위해 결정론적 변환(예: 시그모이드)을 적용한다.
• 다중 출력 학습을 위해 모듈 간 상관관계는 사후에 학습하여 다양한 출력 유형 간 동시 추론을 가능하게 한다.
• 모듈 학습 후 원본 데이터셋 크기와 무관하게 복잡도가 유지되므로 확장 가능하고 계산 효율성이 높다.

실험 결과

연구 질문

• RQ1 기존 데이터에 재학습하지 않고도 GP 모델을 새로운 작업에 재사용할 수 있으며, 학습된 불확실성과 성능을 유지할 수 있는가?
• RQ2 기존에 학습된 GP 모듈만을 사용하여 원칙적이고 확장 가능하며 개인정보 보호 기반의 전이 학습 프레임워크를 어떻게 구축할 수 있는가?
• RQ3 모듈형 GP 모델은 다양한 작업에 대해 이질적 이탈률(예: 회귀 및 분류)에서 얼마나 일반화할 수 있는가?
• RQ4 대규모 및 다중 작업 환경에서 메타-GP 모델의 성능은 정확한 추론 및 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ5 다중 출력 환경에서 독립된 모듈 간의 상관관계를 효과적으로 학습할 수 있는가?

주요 결과

• 바나나 데이터셋에서 모듈형 GP 프레임워크는 테스트 NLPD 7.21±0.04를 기록하여 효과적인 유도점 수를 늘림으로써 베이스라인 변분 GP(7.29±7.85×10−4)를 초월했다.
• 미국 항공사 지연 데이터셋에서 메타-MOGP는 개별 GP 모듈 및 변분 MOGP 베이스라인 대비 예측 오차를 약 1%만 감소시켜 강건성을 입증했다.
• 런던 주거 데이터셋에서 메타-MOGP는 회귀 작업에서 NLPD=4.18±0.06, 분류 작업에서 NLPD=4.78±0.03를 기록했으며, 단독 모듈 대비 이진 출력에서 성능 향상을 보였다.
• MNIST 픽셀 단위 분류에서 이론적으로 데이터 없이 메타학습을 성공적으로 수행하여 학습 데이터에 다시 접근하지 않고도 정확한 예측을 달성했다.
• 다중 출력 실험에서 이질적 출력(Gaussian 및 Bernoulli) 간에도 강력한 예측 성능 유지를 유지했으며, 오차 지표의 열화가 최소한이었다.
• 확장성과 효율성 면에서 우수한 성능를 보였으며, 모듈 학습 후 계산 비용이 원본 데이터셋 크기와 무관하여 대규모 및 지속적 학습 환경에 적합했다.