[논문 리뷰] Dynamic Shrinkage Processes

Daniel R. Kowal, David S. Matteson외 1명|arXiv (Cornell University)|2017. 07. 03.

Complex Systems and Time Series Analysis인용 수 16

한 줄 요약

이 논문은 동적 수축 과정—의존적인 국지 스케일 매개변수를 가진 글로벌-로컬 수축 사전 분포—를 도입하여 베이지안 시계열 및 회귀 모델을 향상시킨다. 국지 스케일을 로그 스케일 자동회귀 과정으로 모델링하고, 폴리아-개미 데이터 보정을 활용함으로써, 적응형이고 局소적인 수축이 가능해지며, 효율적인 깁스 샘플링을 통해 추정 정확도와 추세 필터링 및 시변형 계수 모델에서의 신뢰도 추정을 크게 향상시킨다.

ABSTRACT

We propose a novel class of dynamic shrinkage processes for Bayesian time series and regression analysis. Building upon a global-local framework of prior construction, in which continuous scale mixtures of Gaussian distributions are employed for both desirable shrinkage properties and computational tractability, we model dependence among the local scale parameters. The resulting processes inherit the desirable shrinkage behavior of popular global-local priors, such as the horseshoe prior, but provide additional localized adaptivity, which is important for modeling time series data or regression functions with local features. We construct a computationally efficient Gibbs sampling algorithm based on a Pólya-Gamma scale mixture representation of the proposed process. Using dynamic shrinkage processes, we develop a Bayesian trend filtering model that produces more accurate estimates and tighter posterior credible intervals than competing methods, and apply the model for irregular curve-fitting of minute-by-minute Twitter CPU usage data. In addition, we develop an adaptive time-varying parameter regression model to assess the efficacy of the Fama-French five-factor asset pricing model with momentum added as a sixth factor. Our dynamic analysis of manufacturing and healthcare industry data shows that with the exception of the market risk, no other risk factors are significant except for brief periods.

연구 동기 및 목표

• 시간에 따라 변화하는 설정에 적합한 영역을 확장한 영역-로컬 수축 사전 분포의 탄력적인 클래스를 개발하는 것.
• 국지 스케일 매개변수 간의 의존성을 로그 스케일 자동회귀 과정을 통해 모델링하여 시간에 국한된 수축 행동을 가능하게 하는 것.
• 후행 분포 계산을 위한 Pólya-Gamma 척도 혼합 표현을 활용한 계산적으로 효율적인 깁스 샘플러를 구축하는 것.
• 추세 필터링 및 시변형 계수 회귀 모델에서 추정 정확도와 후행 신뢰구간을 향상시키는 것.
• 실제 데이터에 프레임워크를 적용하여 트위터 CPU 사용량과 자산 가격 설정에 응용하고, 기존 방법보다 뛰어난 성능을 입증하는 것.

제안 방법

• 국지 스케일 매개변수 $\lambda_t$ 를 로그 스케일에서 $h_t = \log(\tau^2 \lambda_t^2) = \mu + \psi_t + \eta_t$ 로 모델링하며, $\psi_t$ 는 시간 의존성을 반영한다.
• $\psi_t$ 를 자동회귀 과정 $\psi_t = \phi \psi_{t-1} + \epsilon_t$ 로 지정하며, $\epsilon_t \sim Z(\alpha, \beta, 0, 1)$, 일반화된 로지스틱 분포이다.
• 계층 모델의 효율적 깁스 샘플링을 위해 폴리아-개미 데이터 보정 기법을 사용하여, 메트로폴리스-하스팅스 조정이 필요 없도록 한다.
• 상태공간 표현을 통해 동적 수축 과정을 베이지안 추세 필터링 및 시변형 계수 회귀 모델에 통합한다.
• 슬라이스 샘플링과 폴리아-개미 사전 분포를 사용하여 초모수 $\phi$, $\tau$, $\mu$ 를 샘플링함으로써 공액성과 계산 효율성을 확보한다.
• 잠재 상태와 혼합 지표의 빠른 샘플링을 가능하게 하기 위해 로그 분산 과정에 대해 이산 혼합 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 독립적 동일분포 국지 스케일 가정에 비해 동적 수축 과정이 시계열 및 회귀 모델에서 국소 수축을 어떻게 향상시키는가?
• RQ2 제안된 동적 글로벌-로컬 사전 분포는 기존의 베이지안 및 빈도주의 방법에 비해 비정규 곡선 피팅을 위한 추세 필터링에서 어떻게 성능을 발휘하는가?
• RQ3 임시적 요인의 유의성이 있는 상황에서 동적 수축 모델은 자산 가격 설정의 시간에 따라 변화하는 위험 요인에 얼마나 잘 적응하는가?
• RQ4 선형 계산 복잡도를 가진 고차원 동적 수축 모델에 대해 폴리아-개미 깁스 샘플러를 효율적으로 적용할 수 있는가?
• RQ5 실제 데이터 응용에서 동적 수축 프레임워크는 더 좁은 후행 신뢰구간과 더 정확한 추정을 제공하는가?

주요 결과

• 분석 대상인 분당 단위 트위터 CPU 사용량 데이터에서, 동적 말리우스형 혁신을 가진 베이지안 추세 필터링 모델(BTF-DHS)은 경쟁 모델 대비 유의미하게 좁은 후행 신뢰구간과 더 정확한 추정치를 제공한다.
• 모멘타움 요인을 포함한 패마-프렌치 다섯 요인 모델에서 동적 분석 결과, 시장 리스크 요인만이 일관되게 유의미한 반면, 다른 요인들은 짧은 기간 동안만 유의미하다.
• BTF-DHS의 MCMC 알고리즘은 선형 시간 복잡도를 달성하여 대규모 시계열에 대한 스케일러블한 전체 베이지안 추론을 가능하게 한다.
• 동적 수축 과정은 비정규 곡선의 국소적 특징을 성공적으로 포착하며, 시뮬레이션 및 실데이터 모두에서 정적 수축 사전 분포보다 뛰어난 성능을 보인다.
• 폴리아-개미 보정을 통해 깁스 샘플러의 수용률이 99.919%에 도달하여 조정이 필요 없고 계산 효율성이 향상된다.
• 모델은 강건한 불확실성 추정을 보이며, 비베이지안 대안보다 더 좁고 신뢰할 수 있는 후행 신뢰구간을 제공한다.