[論文レビュー] Sparse Estimation of Multivariate Poisson Log-Normal Models from Count Data

Hao Wu, Xinwei Deng+1 more|arXiv (Cornell University)|Feb 22, 2016

Statistical Methods and Bayesian Inference参考文献 30被引用数 3

ひとこと要約

本稿では、マルコフ連鎖モンテカルロEMアルゴリズムを用いて回帰係数と潜在変数の精度行列を同時に推定することで、多次元カウントデータのためのスパースな多次元ポアソン対数正規回帰モデルを提案する。LassoとグラフィカルLassoのペナルティを用いることで、応答変数間の条件付き依存関係を活用し、合成データおよび実際のインフルエンザ様疾患データにおいて優れた予測性能を示す。

ABSTRACT

Modeling data with multivariate count responses is a challenging problem due to the discrete nature of the responses. Existing methods for univariate count responses cannot be easily extended to the multivariate case since the dependency among multiple responses needs to be properly accommodated. In this paper, we propose a multivariate Poisson log-normal regression model for multivariate data with count responses. By simultaneously estimating the regression coefficients and inverse covariance matrix over the latent variables with an efficient Monte Carlo EM algorithm, the proposed regression model takes advantages of association among multiple count responses to improve the model prediction performance. Simulation studies and applications to real world data are conducted to systematically evaluate the performance of the proposed method in comparison with conventional methods.

研究の動機と目的

• 単変量または連続応答モデルでは捉えきれない複雑な依存関係を有する多次元カウント応答をモデリングする課題に対処すること。
• 予測精度を向上させるために、回帰係数と潜在変数の精度行列を同時に学習する共同推定フレームワークを構築すること。
• 正則化を用いて回帰係数と精度行列の両方にスパarsityを組み込み、特徴選択と依存構造の学習を可能にすること。
• 多次元ポアソン回帰に逆精度行列推定を統合することで、カウントデータに対する教師あり精度行列推定を拡張すること。
• 高次元の多次元カウントデータに対して明示的な条件付き依存関係のモデリングが可能な計算的に実行可能な手法を提供すること。

提案手法

• 対数レートパラメータがスパースな逆精度行列を有する多次元正規分布に従う多次元ポアソン対数正規モデルを提案する。
• パラメータ推定における非可解な尤度を扱うために、モンテカルロ期待値最大化（MCEM）アルゴリズムを用いる。
• 複数の応答にわたる特徴選択を実現するため、回帰係数行列にLassoペナルティを適用する。
• 潜在変数の共分散構造にグラフィカルLassoを適用し、応答間の条件付き依存関係を捉えるスパースな逆精度行列を推定する。
• 反復加重最小二乗法と座標デセントを用いて、回帰係数行列と逆精度行列の更新を交互に実行する。
• ベクトル化とクロネッカー積の演算を用いて、回帰係数行列の更新に閉形式解を導出する。これにより、計算が効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 スパースな回帰と精度行列推定を併せ持つ共同の多次元ポアソン対数正規モデルは、従来の手法と比較して、多次元カウントデータにおける予測性能を向上させることができるか？
• RQ2 提案されたMCEMアルゴリズムは、高次元のカウントデータ設定において、回帰係数と逆精度行列の両方を効果的に推定できるか？
• RQ3 カウント応答間の条件付き依存関係を組み込むことで、モデルの精度と特徴選択の質がどの程度向上するか？
• RQ4 提案手法は、疾病監視や交通事故件数などの実世界の多次元カウントデータに一般化可能か？
• RQ5 Lasso以外の正則化ペナルティ、例えば適応LassoやグループLassoを用いた場合、モデルの性能はどのように変化するか？

主な発見

• 合成データにおいて、本手法は従来の単変量ポアソン回帰や多次元正規回帰を著しく上回り、特に複雑な依存関係を有する高次元設定で優れた性能を示す。
• 回帰係数と逆精度行列を共同で推定することにより、応答間の周辺的および条件付き関連性を捉えることができ、予測精度が向上する。
• LassoとグラフィカルLassoのペナルティを用いることで、効果的な特徴選択と関連する予測子・条件付き依存関係の同定が可能である。
• インフルエンザ様疾患データに対する実験的結果から、モデルは意味のあるスパース構造を同定し、地域ごとの多次元カウントトレンドを正確に予測している。
• MCEMアルゴリズムは信頼性高くかつ効率的に収束し、中程度から大規模なサンプルサイズおよび応答次元に対しても計算複雑性が管理可能である。
• 本手法は、適応Lasso、グループLasso、融合Lassoなどの他の正則化ペナルティへも拡張可能であり、さまざまなスパース構造においても高い性能を維持する。