[論文レビュー] Learning Some Popular Gaussian Graphical Models without Condition Number Bounds

Jonathan A. Kelner, Frederic Koehler+2 more|arXiv (Cornell University)|May 3, 2019

Bayesian Modeling and Causal Inference参考文献 53被引用数 6

ひとこと要約

本稿では、精度行列の条件数やノルムに基づく仮定を必要とせず、対数的サンプル複雑度で、魅力的かつウォークサムラブルなガウス graphical モデルを学習する最初の固定多項式時間アルゴリズムを提示する。この手法により、従来の方法（例：Graphical Lasso や CLIME）が高条件数で失敗するのを補い、強い変数依存性下でも頑健な構造回復が可能になる。

ABSTRACT

Gaussian Graphical Models (GGMs) have wide-ranging applications in machine learning and the natural and social sciences. In most of the settings in which they are applied, the number of observed samples is much smaller than the dimension and they are assumed to be sparse. While there are a variety of algorithms (e.g. Graphical Lasso, CLIME) that provably recover the graph structure with a logarithmic number of samples, they assume various conditions that require the precision matrix to be in some sense well-conditioned. Here we give the first polynomial-time algorithms for learning attractive GGMs and walk-summable GGMs with a logarithmic number of samples without any such assumptions. In particular, our algorithms can tolerate strong dependencies among the variables. Our result for structure recovery in walk-summable GGMs is derived from a more general result for efficient sparse linear regression in walk-summable models without any norm dependencies. We complement our results with experiments showing that many existing algorithms fail even in some simple settings where there are long dependency chains, whereas ours do not.

研究の動機と目的

• 既存の GGM 学習アルゴリズムが精度行列の制限付きの条件数やノルム仮定を必要としているという限界を解決すること。
• 魅力的およびウォークサムラブルなモデルなどの代表的な GGM クラスにおける構造回復のための効率的で固定多項式時間のアルゴリズムを開発すること。
• 変数に強い依存性がある状況下でも、次元に対して対数的サンプル数で信頼性のある学習が可能になる高次元設定を実現すること。
• ノルム依存性なしにウォークサムラブルモデルにおけるスパース線形回帰の理論的保証を提供し、主結果の基盤を築くこと。

提案手法

• ウォークサムラブルモデルにおけるスパース線形回帰に基づく新しいアルゴリズムフレームワークを提案し、精度行列の構造的性質を活用することで、ノルムに基づく仮定を回避する。
• スパarsity を一般化し、強い変数依存性を許容しつつも効率的な学習を可能にする新しい条件「ウォークサムラビリティ」を導入する。
• 理論的保証のもとでウォークサムラビリティ下で動作するグリーディなプルーニングと検証戦略（GreedyAndPrune）を用いてグラフ構造を回復する。
• ウォークサムラブルモデルにおける効率的スパース線形回帰の一般的結果を確立し、構造回復の核心的理論的基盤を提供する。
• 候補エッジ集合の検証手順を設計し、固有値や条件数の境界に依存せずに正しさを保証する。
• 合成データおよび実世界データ（例：riboflavin データセット）を用いて手法を実装・評価し、Graphical Lasso、CLIME、MB、HybridMB と比較する。

実験結果

リサーチクエスチョン

• RQ1 魅力的かつウォークサムラブルなガウス graphical モデルを、精度行列の条件数やノルムの仮定なしに多項式時間、対数的サンプル複雑度で学習可能か？
• RQ2 強い変数依存性および高条件数の設定下で、提案手法が Graphical Lasso や CLIME よりも優れた性能を示すか？
• RQ3 ウォークサムラビリティが、高次元的かつスパースな設定における頑健な GGM 構造回復のための実用的で一般化可能な仮定として成立するか？
• RQ4 ノルムに基づく仮定を回避し、正確な構造学習を可能にする、ウォークサムラブルモデルにおける固定多項式時間のスパース線形回帰アルゴリズムが存在するか？
• RQ5 実世界および準合成データセットにおいて、提案手法のサンプル複雑度と実行時間の観点から、既存手法と比較して性能に差があるか？

主な発見

• 提案手法は、精度行列の条件数やノルムに関する仮定なしに、ウォークサムラブルな GGM における構造回復を O(log n) のサンプル数で達成する。
• 実験では、Graphical Lasso や CLIME が長距離の依存性チェーンや高条件数の状況で失敗する一方、提案手法は成功を収めた。
• riboflavin データセットにおいて、GreedyAndPrune は 0.19 秒という最速の逐次実行時間を記録し、Graphical Lasso（0.74 秒）や CLIME（2.12 秒）を上回った。
• 準合成実験では、500～550 サンプルでノードあたりの誤ったエッジ数が ≤0.25 に抑えられ、既存手法と同等またはそれ以上であった。
• Graphical Lasso から得られた推定精度行列の条件数と行 ℓ₁-ノルムは次元 n と同程度であり、既存手法の既知の理論的保証が適用されないことを示している。
• 回復された行列はフロベニウスノルムでウォークサムラブルに近く、実世界設定においてウォークサムラビリティ仮定が妥当であることを支持する。