[논문 리뷰] The Gaussian Process Autoregressive Regression Model (GPAR)

James Requeima, Will Tebbutt외 2명|arXiv (Cornell University)|2018. 02. 20.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 16

한 줄 요약

Gaussian Process Autoregressive Regression (GPAR) 모델은 다중 출력 회귀에 대해 가중치 없는 조건부 독립적인 가우시안 프로세스의 사슬으로 공동 출력 분포를 분해함으로써 확장성 있고 다루기 쉬운 접근법을 제안한다. 이는 비선형이고 입력에 따라 변하는 출력 간의 의존성을 효율적으로 모델링할 수 있게 한다. GPAR는 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산 효율성을 유지한다.

ABSTRACT

Multi-output regression models must exploit dependencies between outputs to maximise predictive performance. The application of Gaussian processes (GPs) to this setting typically yields models that are computationally demanding and have limited representational power. We present the Gaussian Process Autoregressive Regression (GPAR) model, a scalable multi-output GP model that is able to capture nonlinear, possibly input-varying, dependencies between outputs in a simple and tractable way: the product rule is used to decompose the joint distribution over the outputs into a set of conditionals, each of which is modelled by a standard GP. GPAR's efficacy is demonstrated on a variety of synthetic and real-world problems, outperforming existing GP models and achieving state-of-the-art performance on established benchmarks.

연구 동기 및 목표

• 기존의 다중 출력 가우시안 프로세스 모델의 계산 비효율성과 제한된 표현 능력을 해결한다.
• 복잡하고 비선형적이며 입력에 의존하는 출력 간의 의존성을 다루기 쉬운 방식으로 모델링할 수 있도록 한다.
• 표준 다중 출력 GP 접근법에 비해 계산 비용을 줄이면서도 예측 정확도를 유지하는 프레임워크를 개발한다.
• 합성 및 실제 다중 출력 회귀 작업에서 강력한 경험적 성능을 입증한다.
• 다양한 회귀 벤치마크에 잘 일반화되는 유연하고 모듈러한 아키텍처를 제공한다.

제안 방법

• 확률의 연쇄법칙을 사용하여 다중 출력의 공동 분포를 조건부 독립적인 가우시안 프로세스의 시퀀스로 분해한다.
• 각 출력을 이전 출력들에 조건화한 GP로 모델링함으로써 자동재귀적 구조를 구현한다.
• 각 조건부 분포에 대해 표준 GP 회귀를 사용하며, 표준 커널과 추론 기법을 활용한다.
• 각 조건부 GP의 커널 하이퍼파rameter가 이전 출력이나 입력 특징에 따라 달라지도록 하여 입력에 따라 변하는 의존성을 가능하게 한다.
• 모든 출력 간에 전체 공분산 행렬 연산을 피함으로써 계산 확장성을 확보한다. 대신 각 조건부 분포를 별개의 GP로 취급한다.
• 필요에 따라 표준 GP 근사 및 변분 추론을 통해 효율적인 추론과 예측을 지원한다.

실험 결과

연구 질문

• RQ1 공동 GP 분포의 구조적 자동재귀적 분해가 다중 출력 회귀에서 확장성과 표현 능력을 향상시킬 수 있는가?
• RQ2 기존의 다중 출력 GP 모델에 비해 GPAR는 출력 간 비선형성과 입력에 따라 변하는 의존성을 얼마나 잘 모델링할 수 있는가?
• RQ3 자동재귀적 GP 프레임워크는 표준 다중 출력 회귀 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ4 GPAR는 복잡한 출력 상관관계를 포착하면서도 계산 효율성을 얼마나 유지하는가?
• RQ5 GPAR는 다양한 합성 및 실제 회귀 작업에 효과적으로 일반화되는가?

주요 결과

• GPAR는 다양한 합성 및 실제 회귀 작업에서 기존의 다중 출력 GP 모델을 능가하며, 더 높은 예측 정확도를 보였다.
• MUlti-Output Regression (MOR) 챌린지에서 제공한 벤치마크를 포함한 기존의 표준 벤치마크에서 최신 기술 수준의 성능를 달성했다.
• 전체 공동 공분산 모델링을 피하기 때문에 계산 효율성을 유지하여 많은 출력 수가 있는 경우에도 확장 가능한 추론이 가능했다.
• 자동재귀적 구조 덕분에 계산 복잡도를 과도하게 증가시키지 않으면서도 비선형이고 입력에 의존하는 출력 간 의존성을 효과적으로 모델링할 수 있었다.
• 경험적 결과로 GPAR는 다양한 데이터 유형과 출력 상관 구조에 대해 잘 일반화됨을 보였다.
• 출력 수와 입력 차원의 변화에 대해 강건하게 작동하며, 다양한 실험 설정에서 뛰어난 성능를 유지했다.