[논문 리뷰] Time Series Structure Discovery via Probabilistic Program Synthesis

Ulrich Schaechtle, Feras A. Saad외 2명|arXiv (Cornell University)|2016. 11. 21.

Time Series Analysis and Forecasting참고 문헌 11인용 수 6

한 줄 요약

이 논문은 시간 시리즈 구조 탐색을 위한 확률적 프로그램 합성 프레임워크를 소개한다. 이는 자동 베이지안 공분산 탐색(ABCD)을 추상 구문 트리(ASP)와 Venture의 확률적 프로그램을 사용하여 재구성한 것이다. 실제 경제학 데이터에서 정확한 내삽과 외삽을 달성하며, 70줄 이내의 구현이 비모수적 및 표준 회귀 기준선을 능가한다. 비모수적 클러스터링을 위한 유연하고 확장 가능한 모델 탐색은 추가로 10줄 미만의 코드로 가능하다.

ABSTRACT

There is a widespread need for techniques that can discover structure from time series data. Recently introduced techniques such as Automatic Bayesian Covariance Discovery (ABCD) provide a way to find structure within a single time series by searching through a space of covariance kernels that is generated using a simple grammar. While ABCD can identify a broad class of temporal patterns, it is difficult to extend and can be brittle in practice. This paper shows how to extend ABCD by formulating it in terms of probabilistic program synthesis. The key technical ideas are to (i) represent models using abstract syntax trees for a domain-specific probabilistic language, and (ii) represent the time series model prior, likelihood, and search strategy using probabilistic programs in a sufficiently expressive language. The final probabilistic program is written in under 70 lines of probabilistic code in Venture. The paper demonstrates an application to time series clustering that involves a non-parametric extension to ABCD, experiments for interpolation and extrapolation on real-world econometric data, and improvements in accuracy over both non-parametric and standard regression baselines.

연구 동기 및 목표

• 기존 시간 시리즈 구조 탐색 방법(예: ABCD)의 취약성과 제한된 확장성 문제를 해결하기 위해.
• 확률적 프로그래밍을 활용해 시간 시리즈의 해석 가능한 공분산 구조를 강력하고 스케일링 가능하며 확장 가능한 방식으로 탐색하기 위해.
• 가우스 프로세스 모델의 모델 사전확률, 우도, 탐색 전략을 하나의 확률적 프로그램 합성 프레임워크로 통합하기 위해.
• 비모수적 및 표준 회귀 기준선과 비교해 실제 경제학 데이터 세트에서 내삽과 외삽 성능이 경쟁 가능함을 보여주기 위해.
• 최소한의 코드 수정으로 시간 시리즈의 비모수적 클러스터링을 가능하게 하여 실제 및 합성 데이터에서 참값 그룹화를 회복하기 위해.

제안 방법

• 시간 시리즈 모델을 도메인 특화 확률적 언어에서 추상 구문 트리(ASP)로 표현하여 모델 구조에 대한 기호적 조작과 탐색을 가능하게 한다.
• 공분산 커널의 문법(예: 선형, 주기적, 화이트 노이즈)으로부터 후보 모델 구조를 샘플링하는 생성적 ASP 사전을 정의한다.
• ASP 인터프리터를 사용해 ASP를 Venture 확률적 프로그래밍 언어에서 실행 가능한 확률적 프로그램으로 컴iles한다.
• 메트로폴리스-해스팅스 샘플링과 기울기 기반 최적화를 조합한 합성 전략을 사용해, ASP, 초모수, 모델 구조에 대한 공동 사후분포로 전체 추론 문제를 정식화한다.
• 모델 우도와 사전 분포를 하나의 확률적 프로그램에 통합하여, 모델 구조와 초모수에 대한 베이지안 추론을 가능하게 한다.
• 비모수적 클러스터링 확장에서 모델 구조, 초모수, 클러스터 식별자에 대한 공동 추론을 Venture의 추론 엔진을 활용해 수행한다.

실험 결과

연구 질문

• RQ1 확률적 프로그램 합성 기법을 사용해 ABCD 프레임워크를 재구성하고 개선할 수 있는가?
• RQ2 합성 전략에서 기울기 기반 최적화와 MCMC 샘플링을 조합할 경우, 모델 탐색 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 최소한의 코드 변경으로 시간 시리즈의 비모수적 클러스터링을 확장할 수 있는 정도는 어느 정도인가? 특히 공통된 공분산 구조를 가진 그룹 탐색에 대해.
• RQ4 합성된 모델의 예측 성능은 비모수적 및 표준 회귀 기준선과 비교해 실제 시간 시리즈 데이터에서 어떻게 되는가?
• RQ5 복합 커널 시나리오에서 사후 분포에 대한 모델 평균화와 최대 사후 확률 구조(MAP) 사용 간 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 실제 내삽 및 외삽 작업에서 경쟁적인 예측 성능을 달성했으며, 가우스 프로세스 모델이 항공기 승객 수와 태양 복사량 데이터의 추세와 주기성을 정확히 포착했다.
• 네 개인실 경제학 데이터 세트의 검증 데이터에서, 확률적 프로그램 합성 기반 GP 모델이 비모수적 및 표준 기계학습 기준선보다 낮은 평균 제곱근 오차(RMSE)를 기록했으며, 기준선의 성능을 1.0으로 표준화했다.
• 64개의 사후 표본만으로도 네 개의 합성 시간 시리즈(선형 2개, 주기적 2개)에 대한 참값 분할을 공동 추론을 통해 회복했다.
• 사후 분포에 대한 모델 평균화가 최대 사후 확률(MAP) 구조 사용보다 우수했으며, 특히 MAP 추정치가 잘못된 복합 커널 시나리오에서 두드러졌다.
• ABCD를 비모수적 클러스터링 기법으로 확장하기 위해 10줄 이내의 코드 수정만으로 가능했으며, 이는 프레임워크의 높은 확장성과 조합 가능성(컴포지션)을 보여주었다.
• 전체 구현은 Venture 코드로 단 69줄로 이루어졌으며, ABCD(4,166줄)와 GPML 도구상자(13,945줄)에 비해 코드 복잡도를 크게 줄였고, 이는 프레임워크의 간결성과 유지보수성의 우수함을 입증한다.