[논문 리뷰] Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, David Luengo외 2명|ArXiv.org|2009. 12. 16.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 희소 복합 다중 출력 가우시안 프로세스를 위한 변분 유도 커널을 도입하며, 유도 함수와 변분 경계를 통해 다중 출력 GP 모델로의 변분 추론을 확장합니다. 복합 프로세스와 변분 근사를 결합함으로써 복잡하고 상관관계가 있는 출력 설정에서 효율적이고 스케일러블한 추론을 가능하게 하여 실제 회귀 과제에서 개선된 강건성과 성능을 달성합니다.

ABSTRACT

Interest in multioutput kernel methods is increasing, whether under the guise of multitask learning, multisensor networks or structured output data. From the Gaussian process perspective a multioutput Mercer kernel is a covariance function over correlated output functions. One way of constructing such kernels is based on convolution processes (CP). A key problem for this approach is efficient inference. Alvarez and Lawrence (2009) recently presented a sparse approximation for CPs that enabled efficient inference. In this paper, we extend this work in two directions: we introduce the concept of variational inducing functions to handle potential non-smooth functions involved in the kernel CP construction and we consider an alternative approach to approximate inference based on variational methods, extending the work by Titsias (2009) to the multiple output case. We demonstrate our approaches on prediction of school marks, compiler performance and financial time series.

연구 동기 및 목표

• 복합 프로세스를 사용한 다중 출력 가우시안 프로세스에서 추론의 계산 불가능성을 해결하며, 이는 O(N³D³)의 복잡도를 가집니다.
• FITC 및 PITC와 같은 기존의 희소 근사 방법의 한계를 극복하며, 특히 유도 입력이 최적화될 때 과적합이 발생할 수 있다는 점을 해결합니다.
• 이전에 단일 출력 GP에 적용된 변분 추론 방법을 유도 함수를 사용하여 다중 출력 사례로 확장합니다.
• 복합 프로세스와 변분 경계 및 변분 유도 함수를 결합하여 다중 출력 GP 모델에서 강건하고 스케일러블한 추론을 가능하게 합니다.
• 미분 방정식 등 물리 모델을 커널 복합을 통해 다중 출력 GP 사전분포에 원칙적으로 통합할 수 있는 프레임워크를 제공합니다.

제안 방법

• 복합 프로세스에서 잠재 프로세스를 모델링하기 위해 변분 유도 함수를 제안하여 비연속 함수에 대한 민감하고 강건한 근사를 가능하게 합니다.
• Titsias(2009)의 변분 희소 GP 프레임워크를 다중 출력 사례로 적응시키며, 다중 출력 복합 GP에 대한 변분 경계를 도입합니다.
• 잠재 함수의 유도 점을 기준으로 출력 함수 간의 조건부 독립성 가정을 사용하여 계산 복잡도를 감소시킵니다.
• 행렬 미적분과 벡터화 기법을 사용하여 변분 하한의 닫힌 형태의 기울기를 유도함으로써 하이퍼파rameter와 유도 점의 최적화를 가능하게 합니다.
• 잠재 함수와 커널 함수 Gd,q(x−z)의 복합을 통해 공동 공분산 구조를 구성하며, 핵심 지역화 선형 모델을 일반화합니다.
• 모든 모델 파rameter, 즉 커널 하이퍼파rameter와 유도 점 위치에 대한 분석적 도함수를 사용하여 기울기 기반 방법으로 변분 하한을 최적화합니다.

실험 결과

연구 질문

• RQ1 복합 프로세스를 기반으로 한 다중 출력 가우시안 프로세스에 대해 변분 추론을 어떻게 확장할 수 있는가?
• RQ2 변분 유도 함수는 다중 출력 모델의 희소 GP 근사에서 과적합에 대한 강건성을 향상시킬 수 있는가?
• RQ3 변분 경계를 사용할 경우 복합 다중 출력 GP 모델의 예측 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 실제 데이터에서 기존의 희소 GP 근사 방법(FITC, PITC 등)과 비교했을 때 제안된 방법은 확장성과 정확도 측면에서 어떻게 다른가?
• RQ5 미분 방정식에서 유도된 물리 지식이 커널 복합을 통해 다중 출력 GP 사전분포에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 변분 유도 커널 프레임워크는 전통적인 FITC 및 PITC 근사보다 과적합에 대해 훨씬 더 강건한 성능을 보입니다.
• 추론에 대해 O(K²N)의 계산 복잡도로 감소시켜 스케일러비리티를 가능하게 합니다. 여기서 K는 유도 점의 수, N은 데이터 포인트의 수입니다.
• 학교 성적, 컴파일러 성능, 금융 시계열 데이터에 대한 실험 결과는 예측 분산이 낮고 최첨단의 예측 성능을 달성합니다.
• 변분 경계는 유도 점과 커널 하이퍼파rameter의 공동 최적화를 위한 타당한 목표 함수를 제공하며 일반화 성능을 향상시킵니다.
• 변분 유도 함수의 사용은 비연속 잠재 프로세스의 효과적인 모델링을 가능하게 하여 커널 구성의 유연성을 향상시킵니다.
• 행렬 미적분을 통해 유도된 기울기는 효율적인 최적화를 가능하게 하며, 모든 벤치마크 데이터 세트에서 안정적으로 수렴합니다.