[論文レビュー] The Graphical Horseshoe Estimator for Inverse Covariance Matrices

Yunfan Li, Bruce Α. Craig+1 more|arXiv (Cornell University)|Jul 20, 2017

Statistical Methods and Inference参考文献 44被引用数 10

ひとこと要約

本稿では、重たい尾を持つヘッジホッグ・プライアとゼロ付近での高濃度を特徴とする、高次元の逆分散共分散行列推定のためのベイズ的手法として、グラフィカル・ホースシューズ推定量を提案する。グラフィカル・ラッソやグラフィカル・SCADと比較して、特にスパースな精度行列の下で、Kullback–Leibler情報量の最小化と非ゼロ要素のバイアス低減において優れた性能を示す。効率的な計算のための完全なギブス・サンプリングと、利用可能なMATLABコードを備えている。

ABSTRACT

<b>We develop a new estimator of the inverse covariance matrix for high-dimensional multivariate normal data using the horseshoe prior. The proposed graphical horseshoe estimator has attractive properties compared to other popular estimators, such as the graphical lasso and the graphical smoothly clipped absolute deviation. The most prominent benefit is that when the true inverse covariance matrix is sparse, the graphical horseshoe provides estimates with small information divergence from the sampling model. The posterior mean under the graphical horseshoe prior can also be almost unbiased under certain conditions. In addition to these theoretical results, we also provide a full Gibbs sampler for implementing our estimator. MATLAB code is available for download from github at</b>http://github.com/liyf1988/GHS<b>. The graphical horseshoe estimator compares favorably to existing techniques in simulations and in a human gene network data analysis. Supplementary materials for this article are available online.</b>

研究の動機と目的

• 任意のスパースネスパターンに適応できる高次元の逆分散共分散行列のためのベイズ推定量の開発。
• ヘッジホッグ・プライアの重たい尾とゼロ付近での高濃度という性質を活用し、推定精度の向上。
• 後部分布の計算のための完全なギブス・サンプリングによる計算効率の高い実装の提供。
• グラフィカル・ラッソやグラフィカル・SCADといった既存手法と、実験的および理論的に比較。
• 実際の人間の遺伝子発現データにこの手法を適用し、スパースな遺伝子相互作用ネットワークの同定における性能を評価。

提案手法

• グラフィカル・ホースシューズ推定量は、グローバルなスパースネスパラメータと、半コーシー分布から抽出されたローカルなスパースネスパラメータを持つ階層的縮小事前分布を用いる。
• 推定対象の精度行列（逆分散共分散行列）をもつ多変量正規分布尤度を仮定する。
• この事前分布は、小さな要素をゼロに近づける一方で、大きな要素は比較的変化を抑え、スパースネスを誘導する。
• 精度行列とハイパーパrameterの同時後部分布からの効率的サンプリングのため、完全なギブス・サンプラーを開発した。
• 平均には非情報的事前分布を採用し、階層モデルにおける共分散行列には共役の逆ウィシャート事前分布を用いる。
• 後部推論は、ある条件下でほぼバイアスのない精度行列の後部平均に基づく。

実験結果

リサーチクエスチョン

• RQ1 真の精度行列がスパースな場合、高次元スパースネス下で、グラフィカル・ホースシューズ推定量はグラフィカル・ラッソやグラフィカル・SCADと比較して、Kullback–Leibler情報量においてどのように異なるか。
• RQ2 グラフィカル・ホースシューズ事前分布下での後部平均の理論的性質、特にバイアスと収束性について。
• RQ3 高次元設定下で、競合手法よりも優れた変数選択の正確性とスパースネス回復性能を達成できるか。
• RQ4 サンプルサイズと特徴次元の比が、グラフィカル・ホースシューズ推定量の性能にどのように影響するか。
• RQ5 実世界の生物学的データ、例えば人間の遺伝子発現ネットワークにおいて、グラフィカル・ホースシューズ推定量の経験的性能はいかが。

主な発見

• 真の精度行列がスパースな場合、グラフィカル・ホースシューズ推定量は、グラフィカル・ラッソやグラフィカル・SCADと比較して、真の標本モデルからのKullback–Leibler情報量が顕著に小さい。
• ある正則性条件下では、グラフィカル・ホースシューズ事前分布下での後部平均は、非ゼロ要素に対してほぼバイアスがない。
• シミュレーションでは、特にサンプルサイズが小さい高次元設定下で、グラフィカル・ホースシューズ推定量は、真のスパース構造の推定において、グラフィカル・ラッソやグラフィカル・SCADを上回る。
• 人間の遺伝子発現データセットでは、グラフィカル・ホースシューズ推定量は83頂点と109エッジのスパースネットワークを推定したが、グラフィカル・ラッソとベイズ的グラフィカル・ラッソは、それぞれ1135および976エッジのより密集したグラフを生成した。
• グラフィカル・SCADは非対角要素のどれに対してもゼロと推定せず、4950エッジの完全に接続されたグラフを生成し、スパースネスの誘導が不十分であることが示された。
• グラフィカル・ホースシューズのネットワーク構造は、他の手法と比較して解釈可能で、未接続のスパースなクラスタを明らかにした。