[論文レビュー] Efficient Neighborhood Selection for Gaussian Graphical Models

Yingxiang Yang, Jalal Etesami+1 more|arXiv (Cornell University)|Sep 22, 2015

Bayesian Modeling and Causal Inference参考文献 9被引用数 3

ひとこと要約

本稿では、ガウス graphical モデルにおける近傍選択のための2つの効率的で構造的に一貫性のあるアルゴリズムを提案する：条件付き相互情報量に基づく前向き・後向きグリーディー法と、ウォーク・サムラブルなモデルにおけるしきい値ベースの法。主な貢献は、ノードとその未発見の近傍との間の条件付き共分散に対する理論的下界を確立したことであり、これにより、しきい値ベースの手法においてチューニングパラメータを必要とせず、保証された一貫性と効率性を達成できる。

ABSTRACT

This paper addresses the problem of neighborhood selection for Gaussian graphical models. We present two heuristic algorithms: a forward-backward greedy algorithm for general Gaussian graphical models based on mutual information test, and a threshold-based algorithm for walk summable Gaussian graphical models. Both algorithms are shown to be structurally consistent, and efficient. Numerical results show that both algorithms work very well.

研究の動機と目的

• ガウス graphical モデルにおける近傍選択のための効率的で構造的に一貫性のあるアルゴリズムの開発。
• ウォーク・サムラブルなモデルにおけるノードとその未発見の近傍との間の条件付き共分散に対する理論的下界の確立。
• 条件付き共分散の下界を活用することで、近傍選択におけるチューニングパラメータへの依存を排除すること。
• 従来のグリーディー法（例：前向き・後向き選択）と比較して、計算効率と収束速度の向上。
• 合成グラフ上の数値的評価を通じて、構造的一致性とサンプル効率性の実証。

提案手法

• 条件付き相互情報量に基づいて近傍を逐次選択し、しきい値を用いて低尤度の近傍を pruning する前向き・後向きグリーディー法を提案。
• ノードとその未発見の近傍との間の絶対値の条件付き共分散に対する下界を活用する、ウォーク・サムラブルなガウス graphical モデルのためのしきい値ベースのアルゴリズムを導入。
• アルゴリズム3では、特にサンプルサイズが小さい場合にpseudo近傍サイズを制御するため、pruning しきい値を $10^{-3}$ に設定。
• 前向き選択の停止基準として、しきい値 $\epsilon_s = 8c\rho\eta d\log(m)/(kC_{\text{min}})$ を用いる。ここで $c$ はチューニングパラメータ。
• 前向きフェーズで対称性に基づくpruningを適用し、計算オーバーヘッドを低減。
• 選択されたpseudo近傍サイズと真の次数の比に対する上界を導出し、アルゴリズムの反復回数に対しても上界を設定。

実験結果

リサーチクエスチョン

• RQ1 ガウス graphical モデルにおける近傍選択は、条件付き相互情報量のような情報理論的基準を用いて、効率的に達成可能か？
• RQ2 条件付き共分散のような自然な影響尺度が存在し、未発見の近傍からの影響に対して下界を設定可能か？
• RQ3 ウォーク・サムラブルなモデルにおいて、ノードとその未発見の近傍との間の最大条件付き共分散が0から離れているか？
• RQ4 チューニングパラメータを必要とせず構造的一致性を保証するしきい値ベースのアルゴリズムが存在するか？
• RQ5 提案されたしきい値ベースのアルゴリズムは、チューニング済みのグリーディー法と比較して、収束性およびpseudo近傍サイズの点で優れているか？

主な発見

• しきい値ベースのアルゴリズムは、チューニングパラメータ $c$ のすべてのテスト値において、最良にチューニングされた前向き・後向きグリーディー法と同等の性能を達成する。
• 前向き・後向きグリーディー法の性能はチューニングパラメータ $c$ の選択に極めて敏感である一方、提案手法のしきい値ベースのアルゴリズムは同様のチューニングを必要としない。
• サンプル数が大きい場合には、両手法とも効率的にpseudo近傍を選択し、しきい値ベース手法はチューニング済みグリーディー法の最良性能に匹敵する。
• サンプル数が小さい場合には、固定されたpruningしきい値 $10^{-3}$ のため、しきい値ベースのアルゴリズムがより大きなpseudo近傍を選択する。
• 条件付き共分散に対する理論的下界のおかげで、真の近傍と非近傍を信頼性高く区別でき、構造的一致性が保証される。
• 反復回数およびpseudo近傍サイズと真の次数の比の両方が上界で抑えられていることから、計算効率が確認された。