[論文レビュー] T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs

Changwoo J. Lee, Zhao Tang Luo+1 more|arXiv (Cornell University)|Jul 6, 2021

Statistical Methods and Inference参考文献 45被引用数 4

ひとこと要約

T-LoHoは、木構造に基づく低ランクへそのスパイク・プール・プライアを用いたベイジアン階層モデルを提案し、グラフ構造を持つ高次元パラメータにおける構造的スパarsityと滑らかさを誘導する。ランダムなスパニングフォレストを用いて局所的シャーピング構造を定義することで、不確実性の定量化を伴う効率的なMCMC推論が可能となり、融合ラッソや他のペナルティ法よりも、シミュレーションおよび道路網における実世界の異常検出で優れた性能を発揮する。

ABSTRACT

Graphs have been commonly used to represent complex data structures. In models dealing with graph-structured data, multivariate parameters may not only exhibit sparse patterns but have structured sparsity and smoothness in the sense that both zero and non-zero parameters tend to cluster together. We propose a new prior for high-dimensional parameters with graphical relations, referred to as the Tree-based Low-rank Horseshoe (T-LoHo) model, that generalizes the popular univariate Bayesian horseshoe shrinkage prior to the multivariate setting to detect structured sparsity and smoothness simultaneously. The T-LoHo prior can be embedded in many high-dimensional hierarchical models. To illustrate its utility, we apply it to regularize a Bayesian high-dimensional regression problem where the regression coefficients are linked by a graph, so that the resulting clusters have flexible shapes and satisfy the cluster contiguity constraint with respect to the graph. We design an efficient Markov chain Monte Carlo algorithm that delivers full Bayesian inference with uncertainty measures for model parameters such as the number of clusters. We offer theoretical investigations of the clustering effects and posterior concentration results. Finally, we illustrate the performance of the model with simulation studies and a real data application for anomaly detection on a road network. The results indicate substantial improvements over other competing methods such as the sparse fused lasso.

研究の動機と目的

• グラフによって接続された高次元パラメータにおける構造的スパarsityと滑らかさを同時に捉えるベイジアン正則化モデルの開発。
• 大規模なグラフにおけるグラフベースの正則化の計算的制限を克服するため、スパニングフォレストを用いて依存構造を単純化する。
• クラスタ数やパラメータ推定値の不確実性を完全にベイジアン推論で提供する。これは、頻度主義的ペナルティ法とは対照的である。
• 固定された鎖の順序に依存しない、グラフの連続性を尊重する柔軟な形状の適応的クラスタリングを可能にする。
• 空間的およびネットワークデータにおける異常検出（例：イベント中の交通変化）において、優れた性能を示す。

提案手法

• 木構造に基づく低ランクヘーシュープライア（T-LoHo）事前分布を導入。これは一変量ヘーシュープライアの多次元拡張であり、グラフ上での区分的定数行動を誘導する。
• スパニングフォレスト（RSF）を用いて、整合性のある近隣順序を定義し、計算複雑性を低減しながらもグラフ構造を保持する。
• 局所的シャーピングパラメータが低ランクかつ構造的である階層的事前分布を実装し、同時にクラスタリングとスパarsityを実現する。
• ギブスサンプリングとスライスサンプリングを用いた効率的なMCMCアルゴリズムを採用し、事後分布のサンプルを生成するとともに不確実性を定量化する。
• グラフ構造を持つ係数を有する高次元線形回帰にこの事前分布を適用し、グラフの連続性を尊重する柔軟なクラスタリングを可能にする。
• 階層的構造を用いたグローバル・ローカルシャーピング機構を統合し、無関係な係数を適応的にシャーピングしながら、真の信号を保持する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造を持つ高次元パラメータにおいて、構造的スパarsityと滑らかさを同時に誘導するベイジアン事前分布を設計可能か？
• RQ2 モデルの柔軟性を損なわずに、グラフ正則化ベイジアンモデルにおける計算効率をどのように向上させられるか？
• RQ3 提案手法は、融合ラッソのような頻度主義的ペナルティ法よりも、不確実性の定量化を伴うクラスタ信号検出において優れた性能を示せるか？
• RQ4 固定された鎖や木の順序と比較して、ランダムスパニングフォレストの使用は真のクラスタ構造をどれほど効果的に保持できるか？
• RQ5 実世界のネットワークデータにおける複雑で非凸的なクラスタ形状に対して、このモデルはどれほど適応的か？

主な発見

• シミュレーション研究において、すべての（ϑ, SNR）設定でT-LoHoはスパース融合ラッソや他の競合手法を予測精度およびクラスタ精度の両面で上回った。
• NYCプライド・マーチの異常検出において、T-LoHoはパレードルートおよびダウンタウン・マンハタンでタクシー活動の低下を的確に捉えたが、融合ラッソはソフトスレッショルドによるバイアスのため失敗した。
• T-LoHoは信頼区間90%を信頼できる形で生成し、最適化ベースの手法とは異なり不確実性を定量化できることを示した。
• イベント開始・終了地点の周辺で微細な空間パターンを検出でき、FLより高い感度を示した。
• ランダムスパニングフォレストの使用により、固定順序手法にありがちな過剰クラスタリングを回避する柔軟な形状の適応的クラスタリングが可能になった。
• 理論的結果により、事後分布の集中性とクラスタリング効果が確認され、モデルの一貫性と頑健性を裏付けた。