[논문 리뷰] Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, Neil D. Lawrence|ArXiv.org|2009. 11. 26.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 7

한 줄 요약

이 논문은 조절된 독립성을 활용하여 복수의 출력을 가진 가우시안 프로세스의 희소 근사법을 제안하며, 복합성 과정을 통해 계산 복잡도를 O(N³D³)에서 O(NDK²)로 감소시킨다. K개의 유도 지점으로 구성된 방법은 PITC 및 FITC 유사 근사법을 적응시켜 실세계 데이터인 오염도, 시험 점수, 유전자 발현 등에서 다중 작업 학습과 구조화된 출력 예측을 효율적으로 가능하게 한다.

ABSTRACT

Recently there has been an increasing interest in methods that deal with multiple outputs. This has been motivated partly by frameworks like multitask learning, multisensor networks or structured output data. From a Gaussian processes perspective, the problem reduces to specifying an appropriate covariance function that, whilst being positive semi-definite, captures the dependencies between all the data points and across all the outputs. One approach to account for non-trivial correlations between outputs employs convolution processes. Under a latent function interpretation of the convolution transform we establish dependencies between output variables. The main drawbacks of this approach are the associated computational and storage demands. In this paper we address these issues. We present different sparse approximations for dependent output Gaussian processes constructed through the convolution formalism. We exploit the conditional independencies present naturally in the model. This leads to a form of the covariance similar in spirit to the so called PITC and FITC approximations for a single output. We show experimental results with synthetic and real data, in particular, we show results in pollution prediction, school exams score prediction and gene expression data.

연구 동기 및 목표

• 복합 과정 기반의 다중 출력 가우시안 프로세스에서 전체 공분산 행렬의 높은 계산 비용과 저장 비용을 해결하기 위해.
• 복합 과정 프레임워크 내 조건부 독립성을 활용하여 확장 가능한 근사법을 도출하기 위해.
• 단일 출력 희소 GP 근사법(PITC 및 FITC)을 다변량 출력 설정으로 확장하기 위해.
• 복합 과정 기반의 다중 출력 GP를 실세계 데이터에 실용적으로 적용할 수 있도록 하기 위해.
• 더 풍부한 상관관계 구조를 유지하면서 선형 모델의 공역성 대안으로서 계산 효율적인 대안을 제공하기 위해.

제안 방법

• 공유된 잠재 과정와 다른 스무딩 커널을 결합하여 다중 출력을 모델링함으로써 상호 출력 상관관계를 유도하기 위해.
• K개의 유도 지점을 조건부로 설정하여 희소 근사를 도입함으로써 전체 공분산을 저랭크 구조로 감소시키기 위해.
• 조건부 독립성 활용: 잠재 과정를 조건으로 하면 출력들이 조건부 독립적이므로 블록 대각 근사가 가능해짐.
• PITC(부분 독립 학습 조건부) 및 FITC(완전 독립 학습 조건부) 프레임워크를 다변량 경우로 확장하기 위해.
• 하이퍼파rameter 및 유도 지점에 대한 로그-주변 가능도와 그 기울기의 폐쇄형 표현식을 유도하기 위해.
• 행렬 역행렬 공식을 활용하여 효율적인 행렬 역행렬 계산을 통해 근사 사후 및 예측 분포를 계산하기 위해.

실험 결과

연구 질문

• RQ1 복합 과정 기반의 다중 출력 GP에서 조건부 독립성을 활용하여 확장 가능한 희소 근사법을 도출할 수 있는가?
• RQ2 복합 과정를 통해 다변량 출력으로 확장된 PITC- 및 FITC-스타일 근사법의 성능은 어떠한가?
• RQ3 제안된 방법이 다중 출력 작업에서 전체 GP 추론 대비 계산 및 예측 성능 향상은 얼마나 되는가?
• RQ4 이 방법은 오염도, 시험 점수, 유전자 발현과 같은 실세계 데이터의 복잡한 의존성 구조를 효과적으로 모델링할 수 있는가?
• RQ5 유도 지점의 위치와 유도 지점 수의 선택에 대해 이 방법은 얼마나 민감한가?

주요 결과

• 제안된 희소 근사법은 계산 복잡도를 O(N³D³)에서 O(NDK²)로 감소시키고, 저장 용량도 O(N²D²)에서 O(NDK)로 줄여 대규모 다변량 GP 회귀를 실현 가능하게 한다.
• 합성 및 실세계 데이터 세트(오염도 예측 및 유전자 발현 데이터 포함)에서 전체 GP 추론과 비교해 유사한 예측 성능을 달성한다.
• 학교 시험 점수 예측에서 이 모델은 다중 과목 간 상관관계를 활용하여 단일 출력 GP 기반 모델을 능가한다.
• 희소 복합 과정 모델은 새로운 데이터에 대해 잘 일반화되며, 기준 다중 작업 커널 대비 일관된 로그-주변 가능도 향상을 보인다.
• 실험 결과에 따르면, 특히 데이터가 제한된 경우 FITC 스타일 근사법이 PITC보다 더 높은 예측 정확도를 제공한다.
• 이 방법은 유도 지점의 위치 선택에 대해 강건하며, 하이퍼파ram터 최적화 과정에서 안정적으로 수렴한다.