[論文レビュー] Joint estimation of sparse multivariate regression and conditional graphical models

Junhui Wang|arXiv (Cornell University)|Jun 19, 2013

Statistical Methods and Inference参考文献 31被引用数 9

ひとこと要約

本稿では、適応的lassoを用いた条件付き対数尤度の罰則付き手法を用いて、スパースな多変量回帰と条件付きガウス graphical モデルを共同で推定する手法を提案する。この手法により、スパースな回帰係数と精度行列の同時推定が可能となり、サンプルサイズとともに共変数と応答変数の数が指数関数的に増加する場合でも、漸近的選択一貫性および正規性を達成する。

ABSTRACT

Multivariate regression model is a natural generalization of the classical univari- ate regression model for fitting multiple responses. In this paper, we propose a high- dimensional multivariate conditional regression model for constructing sparse estimates of the multivariate regression coefficient matrix that accounts for the dependency struc- ture among the multiple responses. The proposed method decomposes the multivariate regression problem into a series of penalized conditional log-likelihood of each response conditioned on the covariates and other responses. It allows simultaneous estimation of the sparse regression coefficient matrix and the sparse inverse covariance matrix. The asymptotic selection consistency and normality are established for the diverging dimension of the covariates and number of responses. The effectiveness of the pro- posed method is also demonstrated in a variety of simulated examples as well as an application to the Glioblastoma multiforme cancer data.

研究の動機と目的

• 高次元設定下でのマージナル単変量回帰の限界を克服し、複数の応答間の依存構造を組み込む。
• 標準的な多変量回帰モデルが応答の依存関係を無視する非効率性を克服する。
• 発散する次元を有する高次元データにおいて、スパースな多変量回帰係数とスパースな精度行列を同時に推定する。
• 高次元漸近的枠組み下で、回帰およびグラフィカルモデル両方の成分について理論的保証（選択一貫性および漸近正規性）を確立する。
• 先行研究の共同推定手法で用いられる反復的交互最適化手法の代替として、計算的に効率的な手法を提供する。

提案手法

• 各応答を共変数および他の応答の上での条件付き分布としてモデル化することにより、多変量回帰問題を一連の条件付き対数尤度として定式化する。
• 多変量回帰係数行列および精度行列の両方に適応的lasso罰則を適用し、スパarsityを誘導する。
• 共同推定を、標準的な最適化パッケージで解ける拡張された適応的lasso回帰問題の系列に分解する。
• 2段階推定戦略を採用：まず精度行列推定により条件付き依存構造を推定し、次に適応的重みを用いて回帰係数を精緻化する。
• 多変量正規分布仮定下での条件付き独立構造を活用し、ガウスグラフィカルモデルを用いて応答の依存関係をモデル化する。
• 反復的交互最適化を回避し、適応的重みを用いた直接的な罰則付き尤度フレームワークを採用することで、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、スパースな多変量回帰と条件付きグラフィカルモデルの共同推定が理論的一貫性を有して達成可能か？
• RQ2 共変数の数 $p$ と応答変数の数 $q$ がサンプルサイズ $n$ に対して指数関数的に増加する場合、提案手法が選択一貫性および漸近正規性を維持するか？
• RQ3 条件付き対数尤度における適応的lassoの使用は、$L_"infty$-ノルムまたは標準的lasso罰則と比較して、推定効率およびスパarsityの両面でどのように向上するか？
• RQ4 本手法は、高次元データにおいて真の回帰構造および条件付き依存関係グラフを効果的に回復できるか？
• RQ5 既存の共同推定手法と比較して、本手法の有限標本性能および計算スケーラビリティはいかがなっているか？

主な発見

• 提案手法は、発散する次元性下でも、多変量回帰係数行列および精度行列の両方について漸近的選択一貫性を達成する。
• 推定器の漸近正規性が確立されており、正則性条件の下で推定係数の極限分布が正規分布に収束することが示された。
• 共変数の数 $p$ と応答変数の数 $q$ がサンプルサイズ $n$ に対して指数関数的に増加する場合でも、本手法は一貫性を維持する。
• 理論的解析により、真のモデル構造を正しく同定する確率がサンプルサイズの増加に伴い1に収束することが示された。
• シミュレーテッドデータを用いた数値実験により、競合手法と比較して変数選択および推定精度の両面で優れた性能を示した。
• 膠芽腫瘍多形性がん（Glioblastoma multiforme）の臨床データへの応用により、生物学的に妥当な遺伝子調節ネットワークが同定され、予測精度の向上が確認され、本手法の実用的有用性が裏付けられた。