[논문 리뷰] Minimizing Negative Transfer of Knowledge in Multivariate Gaussian Processes: A Scalable and Regularized Approach

Raed Al Kontar, Garvesh Raskutti외 1명|arXiv (Cornell University)|2019. 01. 31.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 3

한 줄 요약

이 논문은 다변량 가우시안 프로세스(MGPs)를 위한 확장 가능하고 정규화된 쌍별 모델링 방법을 제안하며, 이를 위해 컨볼루션 프로세스(CPs)를 사용한다. 이 방법은 상관관계가 없는 출력 간에 공유되는 잠재 함수에 대한 정규화를 통해 부정적 전이를 완화한다. 전체 MGP를 이변량 GPs로 분해하고 그룹 라소 정규화를 적용함으로써, 고차원 출력 설정에서 계산 효율성과 예측 정확도 향상을 확보한다.

ABSTRACT

Recently there has been an increasing interest in the multivariate Gaussian process (MGP) which extends the Gaussian process (GP) to deal with multiple outputs. One approach to construct the MGP and account for non-trivial commonalities amongst outputs employs a convolution process (CP). The CP is based on the idea of sharing latent functions across several convolutions. Despite the elegance of the CP construction, it provides new challenges that need yet to be tackled. First, even with a moderate number of outputs, model building is extremely prohibitive due to the huge increase in computational demands and number of parameters to be estimated. Second, the negative transfer of knowledge may occur when some outputs do not share commonalities. In this paper we address these issues. We propose a regularized pairwise modeling approach for the MGP established using CP. The key feature of our approach is to distribute the estimation of the full multivariate model into a group of bivariate GPs which are individually built. Interestingly pairwise modeling turns out to possess unique characteristics, which allows us to tackle the challenge of negative transfer through penalizing the latent function that facilitates information sharing in each bivariate model. Predictions are then made through combining predictions from the bivariate models within a Bayesian framework. The proposed method has excellent scalability when the number of outputs is large and minimizes the negative transfer of knowledge between uncorrelated outputs. Statistical guarantees for the proposed method are studied and its advantageous features are demonstrated through numerical studies.

연구 동기 및 목표

• 많은 출력을 가진 다변량 가우시안 프로세스(MGPs)의 계산 비용 문제를 해결하기 위해.
• 출력 간 상관관계가 없거나 약한 경우 지식 전이의 부정적 영향을 최소화하기 위해.
• 통계적 정확도와 불확실성 측정을 유지하면서도 확장 가능한 추정 프레임워크를 개발하기 위해.
• 출력 간 쌍별 모델링을 통해 MGPs의 분산 추정을 가능하게 하기 위해.
• 정규화 하에서 일致성과 선택 정확도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 이 방법은 전체 다변량 GP를 각각 두 출력을 독립적으로 모델링하는 이변량 GPs의 집합으로 분해한다.
• 각 이변량 GP는 컨볼루션 프로세스의 매개변수에 대해 그룹 라소를 적용한 정규화된 우도를 사용하여 추정된다.
• 정규화 항은 상관관계가 없는 출력 간 정보 공유를 촉진하는 잠재 함수의 영향을 줄이기 위해 설계된다.
• 예측은 모든 쌍별 모델의 예측 분포를 베이지안 프레임워크 내에서 조합하여 수행된다.
• 이론적 일치성을 확보하기 위해 테일러 전개와 渐近 분석을 활용한다.
• 전체 출력 집합의 전체 공분산 행렬 역행렬 계산을 피하는 방식으로 계산 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 많은 출력을 가진 다변량 가우시안 프로세스에서 계산 부담을 줄일 수 있는 확장 가능하고 정규화된 접근 방식은 가능한가?
• RQ2 출력 간 상관관계가 없을 경우 지식 전이를 어떻게 최소화할 수 있는가?
• RQ3 정규화를 적용한 쌍별 모델링이 통계적 일치성과 예측 정확도를 유지하는가?
• RQ4 고차원 출력 공간에서 모델 선택 일치성을 달성할 수 있는가?
• RQ5 표본 크기와 출력 차원이 증가함에 따라 정규화된 추정기의 이론적 행동은 어떠한가?

주요 결과

• 제안된 방법은 전체 MGP를 쌍별 이변량 모델로 분해함으로써 계산 확장성을 확보하며, 전체 다변량 추정의 금방한 비용을 피한다.
• 그룹 라소를 통한 정규화는 상관관계가 없는 출력 간 정보 공유를 효과적으로 억제하여 부정적 전이를 최소화한다.
• 이론적 분석 결과, 표본 크기가 증가함에 따라 추정기는 일치성이 있으며, 불필요한 잠재 함수의 선택 확률이 높아진다.
• 큰 출력 차원에서도 전체 MGP 모델과 유사한 불확실성 측정과 예측 성능을 유지한다.
• 수치 실험 결과, 혼합된 상관관계가 있는 출력과 상관관계가 없는 출력이 혼재된 상황에서 표준 MGP 및 분리 가능한 공분산 접근 방식보다 뛰어난 성능을 보였다.
• 이론적 결과는 정규성 조건을 만족할 경우 추정기가 진정된 기저 구조를 확률 1에 가까이 선택함을 확인한다.