[논문 리뷰] Spectral Subsampling MCMC for Stationary Time Series

Robert Salomone, Matias Quiroz외 3명|arXiv (Cornell University)|2019. 10. 30.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 6

한 줄 요약

이 논문은 주어진 주기적 시간 시리즈에 대한 베이지안 추론을 가속화하기 위해 주파수 도메인에서 주기적 분포 데이터를 샘플링하는 방법인 스펙트럼 서브샘플링 MCMC를 제안한다. 여기서 관측치는 渐진적으로 독립적이다. Whittle 추정법과 데이터 그룹화 및 코어셋 기반으로 설계된 새로운 제어 변수를 활용하여, 편향이 거의 없는 채로 최대 100배의 속도 향상을 달성한다.

ABSTRACT

Bayesian inference using Markov Chain Monte Carlo (MCMC) on large datasets has developed rapidly in recent years. However, the underlying methods are generally limited to relatively simple settings where the data have specific forms of independence. We propose a novel technique for speeding up MCMC for time series data by efficient data subsampling in the frequency domain. For several challenging time series models, we demonstrate a speedup of up to two orders of magnitude while incurring negligible bias compared to MCMC on the full dataset. We also propose alternative control variates for variance reduction based on data grouping and coreset constructions.

연구 동기 및 목표

• 시간적 의존성이 있는 대규모 시간 시리즈에 대해 표준 데이터 서브샘플링 기법이 독립성이 부족하여 실패하는 상황에서 느린 MCMC 문제를 해결한다.
• 이전에 독립적 또는 i.i.d. 데이터에 국한되어 있던 확장 가능한 MCMC 기법을 주파수 도메인으로 데이터를 변환함으로써 정적 시간 시리즈에까지 확장한다.
• 데이터 그룹화와 코어셋 구성 기반으로 효율적인 제어 변수를 개발하여 가능성을 추정기의 분산을 줄이고 MCMC 효율성을 향상시킨다.
• ARFIMA, ARTFIMA, 및 스토하스틱 볼atility 모델과 같은 복잡한 모델에서 전체 데이터 MCMC가 계산적으로 불가능한 상황에서도 본 방법의 정확성과 확장성을 입증한다.

제안 방법

• 시간 도메인의 관측치 간 의존성을 제거하기 위해 빠른 푸리에 변환(FFT)을 사용해 시간 시리즈 데이터를 주파수 도메인으로 변환하고, 이로 인해 시간 도메인의 의존성 있는 관측치들이 渐진적으로 독립적인 주기적 분포 값으로 변환된다.
• Whittle 추정법 근사법을 사용하여 로그우도를 주파수 도메인의 주기적 분포 값에 대한 합으로 간주함으로써, 시간 도메인의 의존성에도 불구하고 서브샘플링이 가능하도록 한다.
• Whittle 추정법에 서브샘플링 MCMC를 적용하여 로그우도 추정을 위해 랜덤하게 주파수 성분의 부분집합을 선택함으로써 각 MCMC 반복의 계산 비용을 감소시킨다.
• 기준 파arameter 값 주변에서 개별 로그우도 항을 근사하기 위해 테일러 급수 기반 제어 변수를 도입하여 분산을 줄인다.
• 그룹화 전략을 제안하여 그룹화된 로그우도 항이 더 정확한 2차 근사에 가까워지게 하여, 특히 복잡한 모델에서 제어 변수 성능을 향상시킨다.
• 큰 그룹의 경우 2차 근사가 실패할 수 있으므로, 코어셋 구성 기법(Campbell & Broderick, 2018)을 적용하여 그룹화된 로그우도를 근사함으로써 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 의존성이 있는 시간 도메인 관측치를 가진 정적 시간 시리즈에 대해 데이터 서브샘플링 기법을 확장할 수 있는가?
• RQ2 주파수 도메인 서브샘플링과 결합된 Whittle 추정법 근사가 대규모 시간 시리즈에 대해 효율적인 MCMC를 가능하게 하는가?
• RQ3 그룹화 및 코어셋 기반 제어 변수가 로그우도 추정기의 분산을 얼마나 줄이고 MCMC 수렴을 향상시키는가?
• RQ4 스펙트럼 서브샘플링 MCMC 방법이 전체 데이터 MCMC와 비교해 사후 분포 및 진짜 스펙트럼 밀도를 얼마나 정확하게 복원하는가?
• RQ5 ARFIMA나 스토하스틱 볼atility 과 같은 복잡한 모델에서, 전체 데이터 MCMC가 계산적으로 불가능한 상황에서 최대 두 배수의 속도 향상을 달성하면서도 상당한 편향을 유발하지 않는가?

주요 결과

• 제안된 스펙트럼 서브샘플링 MCMC는 실험에서 전체 데이터 MCMC 대비 최대 100배 이상의 속도 향상을 달성하였으며, 상대적 계산 시간은 거의 100배 감소하였다.
• 스펙트럼 서브샘플링 MCMC로 확보한 사후 분포는 전체 데이터 MCMC로 확보한 분포와 거의 구분되지 않아, 근사화 과정에서 편향이 거의 없음을 확인하였다.
• 테일러 급수 기반 제어 변수는 특히 ARFIMA 및 ARTFIMA-SV와 같은 복잡한 모델에서 분산을 크게 줄이고 MCMC 효율성을 향상시켰다.
• 로그우도 항을 그룹화하면 개별 항 근사보다 분산을 더 효과적으로 줄이며, 특히 고차원 또는 비정규 분포 설정에서 성능 향상이 뚜렷하다.
• 모의 ARFIMA(2,1) 데이터에서 진짜 스펙트럼 밀도를 정확하게 복원하였으며, 이는 Whittle 근사의 타당성과 서브샘플링 접근법의 강건성을 입증한다.
• 코어셋 기반 제어 변수는 테일러 급수 변형만큼 효과적이지는 않지만, 그룹화된 항이 정확히 2차 근사되지 않을 경우에도 여전히 분산을 줄이고 안정성을 향상시킨다.