[論文レビュー] Scalable high-dimensional Bayesian varying coefficient models with unknown within-subject covariance

Ray Bai, Mary Regina Boland+1 more|arXiv (Cornell University)|Jul 15, 2019

Statistical Methods and Inference参考文献 64被引用数 6

ひとこと要約

本稿では、未知の被験者内共分散構造を伴う高次元変動係数モデルに対してスケーラブルなベイズ的手法として、非パラメトリック変動係数スパイクアンドスラブラッソ（NVC-SSL）を提案する。この手法は、時系列相関を柔軟にモデル化するための関数型ランダム効果を用い、線形スケーリングのECMおよび近似MCMCアルゴリズムを採用することで、効率的なMAP推定と不確実性の定量化を実現し、高次元の縦断的または関数型データにおける信頼性の高い変数選択と推論を可能にする。

ABSTRACT

Nonparametric varying coefficient (NVC) models are useful for modeling time-varying effects on responses that are measured repeatedly for the same subjects. When the number of covariates is moderate or large, it is desirable to perform variable selection from the varying coefficient functions. However, existing methods for variable selection in NVC models either fail to account for within-subject correlations or require the practitioner to specify a parametric form for the correlation structure. In this paper, we introduce the nonparametric varying coefficient spike-and-slab lasso (NVC-SSL) for Bayesian high-dimensional NVC models. Through the introduction of functional random effects, our method allows for flexible modeling of within-subject correlations without needing to specify a parametric covariance function. We further propose several scalable optimization and Markov chain Monte Carlo (MCMC) algorithms. For variable selection, we propose an Expectation Conditional Maximization (ECM) algorithm to rapidly obtain maximum a posteriori (MAP) estimates. Our ECM algorithm scales linearly in the total number of observations $N$ and the number of covariates $p$. For uncertainty quantification, we introduce an approximate MCMC algorithm that also scales linearly in both $N$ and $p$. We demonstrate the scalability, variable selection performance, and inferential capabilities of our method through simulations and a real data application. These algorithms are implemented in the publicly available R package NVCSSL on the Comprehensive R Archive Network.

研究の動機と目的

• 未知の被験者内相関構造を伴う高次元非パラメトリック変動係数（NVC）モデルに対するスケーラブルなベイズ手法の不足を解消すること。
• 被験者内相関を無視するか、事前に指定されたパラメトリック共分散形を仮定する必要がある頻度主義的罰則付きNVCモデルの限界を克服すること。
• 複雑な依存構造を伴う高次元NVCモデルにおいて、同時に推定、変数選択、不確実性の定量化を実行できる手法の開発。
• 新しい最適化およびMCMCアルゴリズムを用いて、変数数 $p$ および全観察数 $N$ の両方において計算のスケーラビリティを確保すること。
• 微弱な信号の検出と、平坦でない多様な関数的形状（例えば、平坦または時不変係数関数を含む）の柔軟なモデル化を可能にすること。

提案手法

• 関数的係数に対する非分離型スパイクアンドスラブグループラッソ事前分布（NVC-SSL事前分布）を提案し、自動的なスパarsity選択と未知の滑らかさおよびスパarsityへの適応性を可能にする。
• 被験者内相関を関数型ランダム効果でモデル化し、パラメトリック共分散構造を事前に指定する必要を回避する。
• 最大事後確率（MAP）推定を高速に実行するための期待値条件付き最大化（ECM）アルゴリズムを開発し、$N$ および $p$ に対して線形スケーリングを達成する。
• 不確実性の定量化のための近似MCMCアルゴリズムを導入し、これも $N$ および $p$ に対して線形スケーリングを達成し、事後分布推論を可能にする。
• 滑らかな係数関数のための基底展開を用い、基底係数に階層的事前分布を設定することで、縮小と変数選択を可能にする。
• 再現性およびコミュニティ利用を目的として、CRANに公開されたRパッケージNVCSSLでこの手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック相関構造を仮定しないで、未知の被験者内共分散構造を柔軟にモデル化できる高次元NVCモデルのベイズ的手法を開発できるか？
• RQ2 複雑な時間的依存性を伴う高次元NVCモデルにおいて、変数選択と推定を効率的に行えるか？
• RQ3 大規模データにおいて、$N$ および $p$ に対して線形スケーリングを達成するためのスケーラブルな最適化およびMCMCアルゴリズムを設計できるか？
• RQ4 有限標本において、微弱な信号をどれほどうまく検出でき、多様な関数的形状（例：平坦、時不変）をどれほど正確に回復できるか？
• RQ5 さまざまな被験者内相関構造下で、変数選択の一貫性および不確実性の定量化の性能はどの程度か？

主な発見

• ECMアルゴリズムにおいて、$N$ および $p$ に対して線形スケーリングを達成しており、高次元設定でも高速なMAP推定を実現している。
• 近似MCMCアルゴリズムも $N$ および $p$ に対して線形スケーリングを達成しており、大規模データにおける効率的な不確実性の定量化を可能にしている。
• 微弱な信号を効果的に検出し、平坦でない多様な関数的形状（平坦および定数係数関数を含む）を正確に回復している。
• シミュレーション研究により、多様な被験者内相関構造下で優れた変数選択性能と信頼性の高い関数推定が示された。
• 実データ応用により、高次元の予測変数を伴う複雑な縦断的または関数型データ設定における実用的有用性が確認された。
• NVC-SSL事前分布下での事後分布収縮に関する理論的支援が提供され、未知のスパarsityおよび滑らかさレベルへの適応性を保証する十分条件が確立された。