[논문 리뷰] Bayesian Dynamic Fused LASSO

Kaoru Irie|arXiv (Cornell University)|2019. 05. 29.

Statistical Methods and Inference참고 문헌 47인용 수 4

한 줄 요약

이 논문은 상태공간 모델에서 동적 스파arsity를 가능하게 하는 새로운 마르코프 전이 사전분포인 베이지안 동적 융합 라소(Bayesian Dynamic Fused LASSO, DFL)를 제안한다. DFL은 시간에 따라 변화하는 회귀계수를 동시에 0과 이전 값으로 수축시키는 전이 구조를 가지며, 이로 인해 동적 스파arsity를 실현한다. 이론적으로는 정규화 상수를 이중지수분포의 로그 기하혼합으로 표현하여, 조건부 가우시안 동적선형모형에서 전방 필터링과 후방 샘플링(FFBS)을 통한 효율적 사후계산이 가능하게 한다. 이는 기존의 표준 사전분포보다 더 유연한 수축성과 높은 예측 정확도를 제공한다.

ABSTRACT

The new class of Markov processes is proposed to realize the flexible shrinkage effects for the dynamic models. The transition density of the new process consists of two penalty functions, similarly to Bayesian fused LASSO in its functional form, that shrink the current state variable to its previous value and zero. The normalizing constant of the density, which is not ignorable in the posterior computation, is shown to be essentially the log-geometric mixture of double-exponential densities. This process comprises the state equation of the dynamic regression models, which is shown to be conditionally Gaussian and linear in state variables and utilize the forward filtering and backward sampling in posterior computation by Gibbs sampler. The problem of overshrinkage that is inherent in lasso is moderated by considering the hierarchical extension, which can even realize the shrinkage of horseshoe priors marginally. The new prior is compared with the standard double-exponential prior in the estimation of and prediction by the dynamic linear models for illustration. It is also applied to the time-varying vector autoregressive models for the US macroeconomic data, where we examine the (dis)similarity of the additional shrinkage effect to dynamic variable selection or, specifically, the latent threshold models.

연구 동기 및 목표

• 표준 라소에서 발생하는 과수축 문제를 해결하기 위해, 시간에 따라 변화하는 계수를 0과 이전 값 양쪽으로 동시에 수축시킬 수 있는 사전분포를 개발하는 것.
• 두 가지 페널티 함수를 가진 조건부 전이 밀도의 비가역 정규화 상수를 명시적으로 계산하는 것. 이는 사후 추론에 있어 핵심적이다.
• DFL 사전분포를 조건부 가우시안 동적선형모형(CDLM) 프레임워크에 통합하여, 전방 필터링과 후방 샘플링(FFBS)을 이용한 효율적 사후 샘플링을 가능하게 하는 것.
• 라소 유형 사전분포의 본질적 과수축 문제를 완화하기 위해, 말뚝형 분포의 여타 분포 특성을 모방할 수 있는 계층적 확장 구조를 도입하는 것.
• DFL의 효과성을 동적선형모형과 시간에 따라 변화하는 벡터자기회귀모형(TV-VARs)에서 미국 거시경제 데이터에 적용하여 입증하는 것.

제안 방법

• 상태변수에 대한 전이밀도를 제안: $ p(x_t|x_{t-1}) \propto \exp\{ -\alpha|x_t| - \beta|x_t - x_{t-1}| \} $, 이는 0과 이전 상태로의 수축을 동시에 반영한다.
• 정규화 상수를 이중지수분포의 로그 기하혼합으로 도출하여 해석적 취급 가능성을 확보한다.
• DFL 사전분포를 정규분포의 척도 혼합 구조로 표현하여 게이브스 샘플링을 통한 MCMC 계산을 용이하게 한다.
• DFL을 조건부 가우시안 동적선형모형(CDLM)에 통합하여 공액성 확보 및 전방 필터링과 후방 샘플링(FFBS)을 통한 효율적 사후 샘플링 가능하게 한다.
• 계층적 확장을 통해 DFL 사전분포를 이용해 마진별로 말뚝형 분포 유사 수축 특성을 구현하여, 표준 라소에서 흔한 과수축 문제를 완화한다.
• 단변량 DLM과 다변량 TV-VAR에 적용하여 표준 이중지수분포 사전분포 및 잠재 임계값 모델과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 0과 이전 값 양쪽으로 수축시키는 조건부 사전분포를 구성할 수 있으며, 이에 대한 정규화 상수가 해석적으로 계산 가능한가?
• RQ2 DFL 사전분포를 CDLM에 통합하여 전방 필터링과 후방 샘플링(FFBS)을 통한 효율적 사후 계산이 가능한가?
• RQ3 표준 라소에 비해 과수축을 줄이면서도 동적 모형에서 스파arsity를 유지할 수 있는가?
• RQ4 기존의 수축 사전분포와 비교해 볼 때, DFL은 다변량 거시경제 모형에서 시간에 따라 변화하는 계수 추정에 얼마나 효과적인가?
• RQ5 DFL 사전분포는 시간에 따라 변화하는 벡터자기회귀모형에서 동적 스파arsity와 구조적 변화를 얼마나 잘 포착하는가?

주요 결과

• DFL 전이밀도의 정규화 상수가 이중지수분포의 로그 기하혼합임을 입증하여 해석적 계산이 가능함을 보였다.
• DFL 사전분포가 CDLM 프레임워크에 통합되어 전방 필터링과 후방 샘플링(FFBS)을 통한 효율적 사후 샘플링이 가능함을 확인하였다.
• 시뮬레이션 연구에서 DFL-DLM은 표준 이중지수분포 사전분포보다 추정 및 예측 정확도가 향상되었으며, 특히 동적 스파arsity 탐지에서 뛰어난 성능을 보였다.
• 미국 거시경제 데이터 분석에서 DFL-DLM은 많은 계수의 포함 확률이 0에 가까운 희박한 시간에 따라 변화하는 구조를 식별하였으며, 이는 강한 0으로의 수축을 의미한다.
• 잠재 임계값 모델(LTM)에 비해 DFL-DLM는 더 높은 동적 수축 특성을 보였으며, 양의 계수 포함 확률이 더 유동적이고 구조적 변화에 민감하게 반응하였다.
• 계층적 확장을 통해 DFL 사전분포는 마진별로 말뚝형 분포 유사 수축 특성을 구현할 수 있었으며, 이는 표준 라소에서 흔한 과수축 문제를 완화시켰다.