[논문 리뷰] Probabilistic structure discovery in time series data

David M. Janz, Brooks Paige외 3명|arXiv (Cornell University)|2016. 11. 21.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 모델에서 커널 조합에 대한 사후 분포를 추론하기 위해 확률적 문맥 자유 문법 사전분포와 인구 몽테카를로 추론을 사용하여 시계열에서 확률적 구조 발견을 위한 완전 베이지안 접근법을 제안한다. 탐욕적 최적화 방법과는 달리, 이 방법은 보다 캘리브레이션된 불확실성 추정을 제공하고 여러 가능성 있는 모델 구조를 드러내어 모델 선택의 해석 가능성과 신뢰성 향상에 기여한다.

ABSTRACT

Existing methods for structure discovery in time series data construct interpretable, compositional kernels for Gaussian process regression models. While the learned Gaussian process model provides posterior mean and variance estimates, typically the structure is learned via a greedy optimization procedure. This restricts the space of possible solutions and leads to over-confident uncertainty estimates. We introduce a fully Bayesian approach, inferring a full posterior over structures, which more reliably captures the uncertainty of the model.

연구 동기 및 목표

• 가우시안 프로세스 모델의 커널 구조 발견에서 탐욕적 최적화 방법의 한계를 해결하기 위해, 이는 과도하게 확신하는 불확실성 추정을 초래한다.
• 커널 구조와 하이퍼파rameter에 대한 사후 분포를 추론하는 완전 베이지안 프레임워크를 개발하여 모델 불확실성을 보다 신뢰성 있게 캡처한다.
• 다양한 가능성이 있는 커널 조합을 드러내어 모델 발견의 해석 가능성을 높이는 것을 가능하게 한다.
• 기존의 커널 통합 연구를 확장하기 위해 진정한 확률적 문맥 자유 문법을 커널 조합에 대한 사전분포로 사용한다.
• 더 넓은 모델링 파이프라인에 통합 가능한 확률적 프로그래밍 프레임워크(Англикан)에 이 방법을 통합한다.

제안 방법

• 이 방법은 기본 커널의 합과 곱을 위한 생성 규칙을 갖는 확률적 문맥 자유 문법을 사용하여 커널 구조에 대한 사전분포를 정의한다.
• 커널 하이퍼파rameter에 대해 분리 가능한 사전분포를 설정하며, 이는 기본 커널 유형과 구조에 조건화된 분포로 구성된다.
• 인구 몽테카를로 알고리즘과 리샘플링-이동 단계를 사용하여 커널 구조와 파rameter의 사후 추론을 수행한다.
• 각 입자는 커널 구조를 변경함으로써(기본 커널 추가, 제거, 교체) 또는 하이퍼파rameter에 힘학적 몽테카를로를 적용함으로써 변형된다.
• 예측 분포는 분석적 추적 가능성을 유지하는 가우시안 프로세스 사후분포의 가중 혼합으로 계산된다.
• 이 프레임워크는 다른 확률적 모델과의 통합을 위한 영리한 확률적 프로그래밍 언어에 구현되어 있다.

실험 결과

연구 질문

• RQ1 시계열에서 커널 구조 발견을 위한 완전 베이지안 접근법이 탐욕적 최적화에 비해 불확실성 정량화를 향상시키는가?
• RQ2 커널 구조와 하이퍼파rameter에 대한 불확실성을 모델링할 경우 예측 성능와 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 확률적 문맥 자유 문법 사전분포가 다양한 해석 가능한 커널 조합을 효과적으로 탐색할 수 있는 정도는 어느 정도인가?
• RQ4 사후 샘플링을 통해 드러나는 여러 가능성이 있는 커널 구조는 모델의 해석 가능성에 어떤 기여를 하는가?
• RQ5 제안된 방법은 종단 간 모델링을 위한 확률적 프로그래밍 파이프라인에 효율적으로 통합될 수 있는가?

주요 결과

• 제안된 방법은 마우나 로아 CO2 데이터셋에서 탐욕적 방법이 과도하게 확신하는 예측을 내보내는 것과는 달리 외삽 작업에서 보다 캘리브레이션된 불확실성 추정을 제공한다.
• 사후 샘플은 데이터를 설명하는 여러 경쟁적 설명, 예를 들어 선형, 주기적, 제곱 지수 성분의 다양한 조합을 드러내어 모델의 해석 가능성을 향상시킨다.
• 확률적 문맥 자유 문법 사전분포의 사용은 이전 연구에서 사용된 유한하고 제한된 집합을 넘어서 풍부한 커널 조합 공간을 체계적으로 탐색할 수 있게 한다.
• 리샘플링-이동 단계를 갖는 인구 몽테카를로 알고리즘은 커널 구조와 하이퍼파rameter의 공동 사후분포를 효과적으로 근사하여 실용적인 추론을 가능하게 한다.
• 가중 혼합된 가우시안 프로세스 사후분포를 통해 분석적 예측 분포를 유지함으로써 계산 효율성을 확보한다.
• Англи칸과의 통합은 더 큰 확률적 모델링 파이프라인에서의 원활한 사용을 가능하게 하여 확장성과 모듈성을 지원한다.