[논문 리뷰] Bayesian Context Trees: Modelling and exact inference for discrete time series

Ioannis Kontoyiannis, Lambros Mertzanis외 3명|arXiv (Cornell University)|2020. 07. 29.

Bayesian Methods and Mixture Models인용 수 7

한 줄 요약

이 논문은 변수 메모리 마르코프 체인에서 정확한 추론을 위한 베이지안 컨텍스트 트리(BCT) 프레임워크를 제안한다. 이는 선형 시간 내에 결정적인 알고리즘을 통해 사전 예측 우도, 사후 모형 확률, 상위-k 모형 식별을 효율적으로 계산할 수 있도록 한다. 이 방법은 예측 정확도에서 VLMC, MTD, SMC, CTF를 모두 능가하며, 실제 데이터에서 최대 4.8% 낮은 로그 손실을 기록한다. BCT는 금융, 유전학, 동물 의사소통을 포함한 다양한 데이터셋에서 일관되게 1위를 기록한다.

ABSTRACT

We develop a new Bayesian modelling framework for the class of higher-order, variable-memory Markov chains, and introduce an associated collection of methodological tools for exact inference with discrete time series. We show that a version of the context tree weighting algorithm can compute the prior predictive likelihood exactly (averaged over both models and parameters), and two related algorithms are introduced, which identify the a posteriori most likely models and compute their exact posterior probabilities. All three algorithms are deterministic and have linear-time complexity. A family of variable-dimension Markov chain Monte Carlo samplers is also provided, facilitating further exploration of the posterior. The performance of the proposed methods in model selection, Markov order estimation and prediction is illustrated through simulation experiments and real-world applications with data from finance, genetics, neuroscience, and animal communication. The associated algorithms are implemented in the R package BCT.

연구 동기 및 목표

• 완전한 마르코프 체인과 전통적인 변수 메모리 모형이 편향-분산 트레이드오���을 균형 있게 조절하고 모델링의 유연성을 확보하는 데에 한계가 있음을 다루기.
• VLMC와 MTD와 같은 최대우도 기반 방법이 관측된 기호에 대해 확률을 0으로 부여할 수 있는 계산적·통계적 비효율성을 극복하기.
• 변수 메모리 마르코프 체인에 대해 사후 확률과 사전 예측 우도를 정확하게 계산할 수 있도록 완전한 베이지안 프레임워크를 개발하기.
• 대규모 또는 순차적 데이터에 적합한 선형 시간 알고리즘을 통해 모형 선택, 예측, 사후 탐색을 효율적으로 수행하기.
• 정확한 베이지안 추론과 변수 차원 MCMC 샘플러를 통해 불확실성 정량화 및 모형 평균화를 촉진하기.

제안 방법

• 컨텍스트 트리의 구조와 전이 확률을 랜덤 변수로 간주하고 공액 딜리클레 사전을 적용하는 베이지안 컨텍스트 트리(BCT) 모델을 제안한다.
• 모든 가능한 컨텍스트 트리와 그 파라미터에 대해 평균을 내어 사전 예측 우도를 정확히 계산하기 위해 컨텍스트 트리 웨이팅(CTW) 알고리즘을 도입한다.
• 사후에 가장 가능성 있는 컨텍스트 트리를 식별하고 그 정확한 사후 확률을 계산하기 위해 BCT 알고리즘을 개발한다.
• 효율적으로 상위-k개의 가장 가능성 높은 컨텍스트 트리를 반환하여 강력한 모형 선택을 가능하게 하는 k-BCT 알고리즘을 설계한다.
• 컨텍스트 트리와 파라미터의 사후 분포를 탐색하기 위한 변수 차원 마르코프 체인 몽테카를로(MCMC) 샘플러를 구현한다.
• 모형 평균화로부터 유도된 정확한 사후 계산과 예측 분포를 활용해 순차적 예측과 온라인 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 알 수 없는 컨텍스트 트리 구조를 가진 변수 메모리 마르코프 체인의 공간에서 정확한 베이지안 추론을 효율적으로 수행할 수 있는가?
• RQ2 제안된 베이지안 컨텍스트 트리 프레임워크는 VLMC, MTD, SMC, CTF와 같은 기존 방법과 비교해 예측 정확도와 강건성 면에서 어떻게 성능을 내는가?
• RQ3 사후 계산을 통한 모형 평균화가 단일 최적 모형의 점 추정에 비해 예측 성능을 얼마나 향상시키는가?
• RQ4 이 클래스의 모형에서 사전 예측 우도와 사후 모형 확률을 정확하게 계산할 수 있는 선형 시간 알고리즘을 개발할 수 있는가?
• RQ5 신경과학, 금융, 동물 의사소통과 같은 복잡한 시간적 의존성을 가진 실제 응용 분야에서 이 프레임워크는 어떻게 성능을 내는가?

주요 결과

• BCT 방법은 모든 테스트 데이터셋에서 가장 낮은 로그 손실을 기록했으며, CTF(2위)보다 최대 4.8% 낮은 로그 손실을 기록했다. 이는 테스트 데이터의 마지막 10%에서의 결과이다.
• Pewee 새 노래 데이터셋에서 BCT는 SMC보다 13.2% 낮은 로그 손실, CTF보다 1.2% 낮은 로그 손실을 기록했으며, VLMC와 MTD는 0 확률 예측으로 인해 무한대의 로그 손실을 기록했다.
• BCT 알고리즘은 선형 시간 복잡도를 가지며 정확하고 효율적으로 사전 예측 우도를 계산했으며, 확장 가능한 추론을 가능하게 했다.
• k-BCT 알고리즘은 가장 가능성 높은 컨텍스트 트리를 성공적으로 식별했으며, 전체 BCT 방법과 유사한 성능을 보였지만 계산 비용은 감소시켰다.
• 변수 차원 MCMC 샘플러를 통해 정확한 사후 탐색이 가능했으며, 이는 불확실성 정량화와 강력한 모형 선택을 지원했다.
• 베이지안 프레임워크는 단일 MAP 모형에 의존하는 SMC보다 뚜렷이 뛰어난 성능을 보였으며, BCT에서의 모형 평균화의 이점이 확인되었다.