[論文レビュー] Bayesian Dynamic Fused LASSO

Kaoru Irie|arXiv (Cornell University)|May 29, 2019

Statistical Methods and Inference参考文献 47被引用数 4

ひとこと要約

本稿では、時変回帰係数をゼロおよびその直前の値へ同時に縮小する、新たなマークフ・遷移事前分布であるベイジアン動的ファズド・ラッソ（DFL）を導入する。このDFLは、状態空間モデルにおける動的スパarsityを可能にする。不変定数を二重指数分布の対数幾何平均として導出し、条件付きガウス型動的線形モデルにおける前向きフィルタリングと後向きサンプリング（FFBS）を用いた効率的な事後分布計算を可能にする。従来の事前分布に比べ、スパarsityの柔軟性と予測精度が優れている。

ABSTRACT

The new class of Markov processes is proposed to realize the flexible shrinkage effects for the dynamic models. The transition density of the new process consists of two penalty functions, similarly to Bayesian fused LASSO in its functional form, that shrink the current state variable to its previous value and zero. The normalizing constant of the density, which is not ignorable in the posterior computation, is shown to be essentially the log-geometric mixture of double-exponential densities. This process comprises the state equation of the dynamic regression models, which is shown to be conditionally Gaussian and linear in state variables and utilize the forward filtering and backward sampling in posterior computation by Gibbs sampler. The problem of overshrinkage that is inherent in lasso is moderated by considering the hierarchical extension, which can even realize the shrinkage of horseshoe priors marginally. The new prior is compared with the standard double-exponential prior in the estimation of and prediction by the dynamic linear models for illustration. It is also applied to the time-varying vector autoregressive models for the US macroeconomic data, where we examine the (dis)similarity of the additional shrinkage effect to dynamic variable selection or, specifically, the latent threshold models.

研究の動機と目的

• 標準ラッソにおける過剰縮小を是正するため、動的係数をゼロおよびその直前の値へ柔軟に縮小できる事前分布の開発を目的とする。
• 2つのペナルティ関数を有する条件付き遷移密度の不変定数を明示的に計算すること。これは事後分布推論において極めて重要である。
• DFL事前分布を条件付きガウス型動的線形モデル（CDLM）フレームワークに組み込み、前向きフィルタリングと後向きサンプリング（FFBS）を用いた効率的な事後分布サンプリングを可能とすること。
• 階層的拡張を導入することで、ラッソ型事前分布に内在する過剰縮小を緩和し、ホースシューピアに類似した周辺的縮小を実現すること。
• DFLの有効性を、動的線形モデルおよび時変ベクトル自己回帰モデル（TV-VARs）において、米国マクロ経済データを用いて示すこと。

提案手法

• 状態変数の遷移密度を提案：$ p(x_t|x_{t-1}) \propto \exp\{ -\alpha|x_t| - \beta|x_t - x_{t-1}| \} $。ゼロおよび直前の状態への縮小を組み合わせる。
• 不変定数を二重指数分布の対数幾何平均として導出し、解析的取り扱いを可能にする。
• DFL事前分布を正規分布のスケール混合として階層的表現化し、GibbsサンプリングによるMCMCを容易にする。
• DFLを条件付きガウス型動的線形モデル（CDLM）に埋め込み、共役性を保ち、前向きフィルタリングと後向きサンプリング（FFBS）による効率的事後分布サンプリングを実現。
• 階層的拡張により、周辺的にホースシューピアに類似した縮小を可能とし、過剰縮小を緩和。
• 単変量DLMおよび多変量TV-VARに本手法を適用し、標準二重指数分布型および潜在しきい値モデルと性能を比較。

実験結果

リサーチクエスチョン

• RQ1 ゼロおよび直前の値への縮小を同時に実現する条件付き事前分布を、取り扱い可能な不変定数を有する形で構築可能か？
• RQ2 DFL事前分布をCDLMにどのように埋め込み、FFBSによる効率的事後分布計算を可能にするか？
• RQ3 標準ラッソに比べ、DFL事前分布は過剰縮小を緩和しつつ、動的モデルにおけるスパarsityを維持できるか？
• RQ4 従来のスパarsity事前分布と比較して、DFLは多変量マクロ経済モデルにおける時変パラメータ推定で優れた性能を示すか？
• RQ5 DFL事前分布は、時変ベクトル自己回帰モデルにおける動的スパarsityおよび構造的変化をどの程度適切に捉えることができるか？

主な発見

• DFL遷移密度の不変定数が、二重指数分布の対数幾何平均として表現可能であることが示され、解析的計算が可能である。
• DFL事前分布がCDLMフレームワークに組み込まれ、前向きフィルタリングと後向きサンプリング（FFBS）による効率的事後分布サンプリングが可能となった。
• シミュレーション研究において、DFL-DLMは標準二重指数分布型事前分布に比べ、推定および予測精度が向上しており、特に動的スパarsityの検出において優れた性能を示した。
• 米国マクロ経済データにおいて、DFL-DLMは多くの係数について包含確率がゼロに近い値を示し、ゼロへの強い縮小が実現された。
• ラティント・スイッチングモデル（LTM）に比べ、DFL-DLMはより動的な縮小を示しており、正の係数の事後確率がより静的ではなく、構造的変化に迅速に反応した。
• 階層的拡張により、DFL事前分布は周辺的にホースシューピアに類似した縮小を実現でき、標準ラッソに見られる過剰縮小を緩和した。