[論文レビュー] Structure estimation for discrete graphical models: Generalized covariance matrices and their inverses

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|Dec 3, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用数 16

ひとこと要約

本論文は、一般化された共分散行列の逆行列と離散的グラフィカルモデルにおける条件付き独立構造との間の理論的関係を確立し、特に単一の分離集合を持つグラフ（例：木構造）では、逆共分散行列がグラフのエッジ構造を反映することを示している。主な貢献は、古典的なガウス型グラフィカルモデルにおける結果（逆共分散行列のゼロが条件付き独立性を示す）を、指示変数とジョイントツリー幾何学を用いて非ガウス型、離散的モデルへと拡張したことである。これにより、欠損データや汚染されたデータが存在する状況でも、修正されたリッジ回帰法およびノードワイズ回帰法を用いて一貫した構造推定が可能になる。

ABSTRACT

We investigate the relationship between the structure of a discrete graphical model and the support of the inverse of a generalized covariance matrix. We show that for certain graph structures, the support of the inverse covariance matrix of indicator variables on the vertices of a graph reflects the conditional independence structure of the graph. Our work extends results that have previously been established only in the context of multivariate Gaussian graphical models, thereby addressing an open question about the significance of the inverse covariance matrix of a non-Gaussian distribution. The proof exploits a combination of ideas from the geometry of exponential families, junction tree theory and convex analysis. These population-level results have various consequences for graph selection methods, both known and novel, including a novel method for structure estimation for missing or corrupted observations. We provide nonasymptotic guarantees for such methods and illustrate the sharpness of these predictions via simulations.

研究の動機と目的

• 離散的グラフィカルモデルの逆共分散行列が、ガウスモデルと同様に条件付き独立構造を反映するかどうかを検証すること。
• 逆共分散行列のスパarsityとグラフ構造の古典的対応関係を、非ガウス型、離散値をとる確率変数へと拡張すること。
• 欠損または汚染された観測値が存在する高次元離散的グラフィカルモデルにおける構造推定のための一貫性があり、計算的に実行可能な手法を開発すること。
• 特に単一の分離集合を持つグラフや有界次数のグラフを対象とした高次元スケーリング下でのグラフ選択法に理論的保証を確立すること。
• 指数型分布族全体にわたる構造推定を統一する一般化された枠組みを、一般化共分散行列とジョイントツリー理論を用いて構築すること。

提案手法

• グラフのジョイントツリー分解と整合するように、高次元変数サブセットの指示関数からなる一般化共分散行列を提案する。
• レジェンドル双対性および指数型分布族の幾何学を用いて、この一般化共分散行列の逆行列が、元のグラフィカルモデルの条件付き独立構造と関係づけられるようにする。
• ジョイントツリー理論を適用し、元のグラフが単一の分離集合を持つ場合に、逆共分散行列がグラフ構造をそのまま継承することを保証する。
• 線形回帰を指示変数に適用することで、グラフィカルリッジ回帰およびノードワイズ回帰を離散的モデルに適応し、高次元スケーリング下でも理論的一貫性を保証する。
• 系統的な欠損データを考慮するために回帰目的関数を修正し、標準的手法が失敗する状況でも一貫性を保つ修正された推定器を導入する。
• 非凸最適化問題に対して複合勾配降下法を用い、最適解の近傍への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 離散的グラフィカルモデルの一般化共分散行列の逆行列は、ガウス分布の場合と同様に、元のグラフの条件付き独立構造を反映するか？
• RQ2 逆共分散行列のスパarsityとグラフ構造の古典的対応関係を、非ガウス型、離散値をとる分布へと拡張できるか？
• RQ3 グラフィカルリッジ回帰やノードワイズ回帰などの標準的手法は、特に単一の分離集合を持つグラフにおいて、離散的グラフィカルモデルに対して一貫性を示すか？
• RQ4 観測値に欠損や汚染がある状況でも、構造推定を高次元スケーリング下で一貫させることは可能か？
• RQ5 欠損データを伴う離散的モデルにおけるグラフ構造の一致回復に必要な理論的サンプルサイズは何か？また、欠損データの割合 $ \rho $ が増加するにつれて、そのスケーリングはどのように変化するか？

主な発見

• 離散変数をもつ木構造のグラフでは、指示変数の標準的共分散行列の逆行列は、正確にグラフ構造を持つ。つまり、ゼロは存在しないエッジに対応する。
• 一般のグラフに対しては、ジョイントツリークリーク上での指示関数を用いて構築された一般化共分散行列の逆行列は、元のグラフが単一の分離集合を持つ場合に限り、グラフ構造を持つ。
• 系統的な欠損データ下でも、修正された線形回帰推定器は、グラフ構造の回復に対して一貫性を示すが、標準的なノードワイズロジスティック回帰はこのような状況でバイアスを示す。
• 理論的保証により、有界次数のグラフで相関の減衰が見られる場合、一貫したグラフ回復に必要なサンプルサイズは $ n \asymp d^2 \log p $ にスケーリングされ、最悪ケースの $ d^3 \log p $ の境界を改善する。
• シミュレーションにより、エッジ回復の成功確率が理論的に予測されたサンプルサイズの閾値で急激に0から1に遷移し、欠損データの割合 $ \rho $ が増加するにつれて右にシフトすることが確認され、理論的予測が妥当であることが裏付けられた。
• 汚染された観測値下でも、高次元スケーリングにおいて理論的に一貫性が保証される。これは、欠損データを伴う離散的グラフィカルモデルに対して、初めてのこのような保証である。