[논문 리뷰] State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes

William J. Wilkinson, Paul E. Chang외 2명|arXiv (Cornell University)|2020. 07. 12.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 시간적 및 시공간 가우시안 프로세스에서의 근사 베이지안 추론을 반복적 칼만 스무딩 업데이트로 포지셔닝하는 통합 프레임워크인 상태공간 기대값 전파(SSEPs)를 소개한다. 기대값 전파(EP)를 상태공간 모델 내에서 재구성함으로써, 선형 시간 추론을 달성하고 EP의 정확성과 선형화의 효율성을 결합하며, 다양한 우도와 데이터 구조에서 확장 가능한 고차원 추론을 가능하게 한다. 음성, 분류, 공간 포인트 과정에서의 실험적 검증을 통해 입증되었다.

ABSTRACT

We formulate approximate Bayesian inference in non-conjugate temporal and spatio-temporal Gaussian process models as a simple parameter update rule applied during Kalman smoothing. This viewpoint encompasses most inference schemes, including expectation propagation (EP), the classical (Extended, Unscented, etc.) Kalman smoothers, and variational inference. We provide a unifying perspective on these algorithms, showing how replacing the power EP moment matching step with linearisation recovers the classical smoothers. EP provides some benefits over the traditional methods via introduction of the so-called cavity distribution, and we combine these benefits with the computational efficiency of linearisation, providing extensive empirical analysis demonstrating the efficacy of various algorithms under this unifying framework. We provide a fast implementation of all methods in JAX.

연구 동기 및 목표

• 상태공간 프레임워크 아래에서 근사 추론 방법을 통합함으로써 비공액 우도에서의 계산 불가능성 문제를 해결한다.
• 시간적 시리즈가 큰 경우 표준 GP 추론의 입방형 스케일링 문제를 해결하기 위해 확률적 미분 방정식(SDE) 표현과 칼만 필터링을 활용한다.
• 하나의 차원을 순차적으로 취급함으로써, 본질적으로 시간적 요소가 없더라도 고차원 시공간 문제에 대해 효율적이고 확장 가능한 추론을 가능하게 한다.
• 최소한의 코드 변경으로 여러 추론 체계(EP, EKF, UKF, VI)를 지원하는 민첩하고 통합된 구현 프레임워크를 제공한다.
• 비정규 우도 하에서 표준 EP와 변분 추론보다 정확성과 안정성 면에서 뛰어난 반복 선형화 기반 추론(e.g., EEP)의 우월성을 입증한다.

제안 방법

• 가우시안 프로세스 모델을 연속 시간 확률적 미분 방정식(SDE)으로 재구성하여, 칼만 필터링과 스무딩을 통해 정확한 선형 시간 추론을 가능하게 한다.
• 기대값 전파(EP)를 캐비티 분포를 갖는 칼만 스무더링으로 표현함으로써, 순간 일치(moment matching)를 선형화로 대체함으로써 고전적 스무더링과 통합한다.
• 반복 선형화를 통해 선형화를 다중 루프에 걸쳐 개선하는 반복 기반 추론 체계인 확장 기대값 전파(EEP)를 도입하여 표준 EKF보다 정확도를 향상시킨다.
• 테일러 전개가 정확하지 않은 우도에 대해 쿠바처리 포인트를 통한 통계적 선형화를 적용함으로써, 강건성과 효율성의 균형을 확보한다.
• 한 차원을 순차적으로 취급함으로써 다차원 입력으로의 확장을 가능하게 하였으며(예: 공간 격자를 시간으로 간주), 해당 축에 대해 선형 시간 추론을 실현한다.
• 모든 방법을 JAX에 구현하여 자동 미분과 GPU 가속을 활용한 고성능, 미분 가능하고 조합 가능한 추론을 실현한다.

실험 결과

연구 질문

• RQ1 기대값 전파(EP)가 단일 상태공간 추론 프레임워크 아래에서 고전적 칼만 스무딩 및 필터링 방법과 통합될 수 있는가?
• RQ2 EP의 순간 일치를 선형화로 대체할 경우, 비공액 GP 모델에서 추론 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 상태공간 프레임워크가 비정규 우도를 가진 고차원 시공간 문제에 얼마나 잘 스케일링될 수 있는가?
• RQ4 어떤 상황에서 반복 선형화(e.g., EEP)가 정규 우도가 아닌 경우에 표준 EP와 변분 추론보다 정확성과 안정성 면에서 뛰어나게 되는가?
• RQ5 한 차원을 순차적으로 취급함으로써, 다차원 문제로의 일반화가 가능할 수 있는가?

주요 결과

• 제안된 상태공간 기대값 전파(SSEP) 프레임워크는 EP, EKF, UKF, 변분 추론을 단일 칼만 스무딩 공식화 아래 통합하여 일관되고 효율적인 추론을 가능하게 한다.
• 3회 반복을 수행한 확장 기대값 전파(EEP)는 바나나 분류 작업에서 뛰어난 성능을 보이며, VGP 기준선에 가까이 도달하고 표준 EP 및 VI보다 정확성과 안정성 면에서 뛰어나다.
• 6차원 우도 사이트를 가진 음성 분류 작업에서 EEP는 쿠바처리 기반 방법보다 더 빠르며, 데이터 포인트당 우도 평가 횟수가 적기 때문이다.
• 125,000개의 점을 가진 열대우림 공간 포인트 과정에서 EEP는 250차원의 사이트 파라미터를 효과적으로 스케일링하며, 대부분의 방법이 고차원 업데이트로 인해 비실용적이 되는 상황에서도 유의미하게 작동한다.
• 다차원 문제에서 순차적 축에 대해 선형 시간 추론을 실현하여, 대규모 격자(예: 500×250 공간 격자에 500개의 시간 단계)에서도 확장 가능한 추론이 가능하다.
• 우도가 매우 비선형이고 캐비티 분산이 높을 경우 쿠바처리 기반 방법이 선형화보다 더 강건하지만, 고차원에선 스케일링이 잘 되지 않아 강건성과 확장성 사이의 상충관계를 드러낸다.