[논문 리뷰] Automatic Generation of Probabilistic Programming from Time Series Data

Anh Tong, Jaesik Choi|arXiv (Cornell University)|2016. 07. 04.

Time Series Analysis and Forecasting참고 문헌 12인용 수 5

한 줄 요약

이 논문은 시간 시리즈 데이터로부터 자동으로 스탠 확률적 프로그래밍 코드를 생성하는 StanABCD 시스템을 제안한다. 이는 자동 베이지안 공분산 발견(ABCD) 프레임워크를 활용하여 기술적 공분산 구조를 학습하고, 이를 실행 가능한 스탠 코드로 변환함으로써 높은 정확도로 ABCD 결과를 반영하는 효율적인 베이지안 추론과 외삽을 가능하게 한다.

ABSTRACT

Probabilistic programming languages represent complex data with intermingled models in a few lines of code. Efficient inference algorithms in probabilistic programming languages make possible to build unified frameworks to compute interesting probabilities of various large, real-world problems. When the structure of model is given, constructing a probabilistic program is rather straightforward. Thus, main focus have been to learn the best model parameters and compute marginal probabilities. In this paper, we provide a new perspective to build expressive probabilistic program from continue time series data when the structure of model is not given. The intuition behind of our method is to find a descriptive covariance structure of time series data in nonparametric Gaussian process regression. We report that such descriptive covariance structure efficiently derives a probabilistic programming description accurately.

연구 동기 및 목표

• 수동 모델 사양이 필요 없이 시간 시리즈 데이터로부터 확률적 프로그래밍 코드를 자동으로 생성하는 것.
• 스케일러블 추론을 위해 자동 통계 모델링(ABCD)과 실행 가능한 확률적 프로그래밍(스탠) 간 격차를 메우는 것.
• 후행 통계 분석을 위한 ABCD가 학습한 커널 구조에서 스탠 코드로의 신뢰할 수 있는 일대일 매핑을 가능하게 하는 것.
• 컴파일된 확률적 프로그래밍 환경에 추론를 위탁하여 ABCD의 커널 학습을 가속화하는 것.
• 간결하고 해석 가능한 스탠 코드 표현을 통해 이질적인 시간 시리즈의 복잡한 모델링을 지원하는 것.

제안 방법

• 시간 시리즈에서 ABCD를 사용해 해석 가능한 구성 요소(예: 부드러움, 주기성, 변화점)를 포함한 기술적 공분산 구조를 추출한다.
• 조합형 커널 학습을 통해 복합 커널을 기본 커널(예: SE, PER, WN, LIN, CONST)의 합과 곱으로 표현한다.
• 커널 연산을 행렬 연산으로 변환하여 복합 커널을 스탠 문법으로 매핑한다: 덧셈은 행렬 합으로, 곱셈은 하다르드 tích으로.
• 변환된 매개변수 블록에서 코レス키 분해를 사용해 효율적인 다변수 정규 분포 샘플링을 위한 공동 가우시안 프로세스 사전분포를 구현한다.
• 생성된 양수 블록을 사용해 평균과 코レス키 분해된 공분산을 통해 표준 정규 변량의 선형 변환을 통해 예측 출력을 생성한다.
• PyStan을 사용해 생성된 스탠 코드를 컴파일하고 실행하여 테스트 점에서 사후 예측 분포에서 샘플을 추출한다.

실험 결과

연구 질문

• RQ1 ABCD가 학습한 공분산 구조가 스탠에서 실행 가능한 확률적 프로그램으로 체계적으로 변환될 수 있는가?
• RQ2 생성된 스탠 코드는 실제 시간 시리즈에서 ABCD의 외삽 성능을 얼마나 정확하게 재현할 수 있는가?
• RQ3 자동 코드 생성 과정이 원래 ABCD 모델의 해석 가능성과 표현력의 특성을 어느 정도 유지하는가?
• RQ4 생성된 스탠 프로그램이 새로운 데이터 포인트에 대한 효율적인 베이지안 추론과 사후 샘플링을 가능하게 하는가?
• RQ5 예측 불확실성과 기능 형태 측면에서 생성된 확률적 프로그램이 원래 ABCD 모델과 비교해 얼마나 높은 정밀도를 보이는가?

주요 결과

• StanABCD는 ABCD가 학습한 복합 커널 구조에서 일대일 매핑을 통해 유효하고 실행 가능한 스탠 코드를 성공적으로 생성한다.
• 생성된 스탠 프로그램은 항공기 승객 및 인도네시아 루피아 환율 데이터셋에서 ABCD의 성능과 밀도 있게 일치하는 외삽 샘플을 생성한다.
• 결과 확률 프로그램에서 ABCD 모델 구성 요소(예: 주기성, 선형 추세, 노이즈)의 해석 가능성이 유지된다.
• 변환된 매개변수 블록에서 코レス키 분해를 사용함으로써 공동 가우시안 프로세스 사전분포에서 효율적이고 수치적으로 안정적인 샘플링이 가능하다.
• 자동 확률적 프로그래밍 생성이 실현 가능하고 정확하며, 수동 모델 재구현 없이도 스케일러블 추론을 가능하게 한다는 것이 시스템에 의해 입증된다.
• 생성된 코드는 최소한의 공학적 노력으로 후행 작업(예: 사후 예측 샘플링, 불확실성 정량화)을 지원한다.