[論文レビュー] Complexity analysis of Bayesian learning of high-dimensional DAG models and their equivalence classes

Quan Zhou, Hyunwoong Chang|arXiv (Cornell University)|Jan 11, 2021

Bayesian Modeling and Causal Inference参考文献 59被引用数 4

ひとこと要約

本稿は、高次元ガウスDAGモデルおよびその同値類に対するランダムウォークメトロポリス・ハスティングスアルゴリズムの高速混合を確立する。スパarsityと高次元性の仮定の下で、混合時間は$n$および$p$に関して多項式的に増加し、同値類空間の効率的探索と経験ベイズモデルの強い選択的一致性を保証する。

ABSTRACT

Structure learning via MCMC sampling is known to be very challenging because of the enormous search space and the existence of Markov equivalent DAGs. Theoretical results on the mixing behavior are lacking. In this work, we prove the rapid mixing of a random walk Metropolis-Hastings algorithm, which reveals that the complexity of Bayesian learning of sparse equivalence classes grows only polynomially in $n$ and $p$, under some high-dimensional assumptions. A series of high-dimensional consistency results is obtained, including the strong selection consistency of an empirical Bayes model for structure learning. Our proof is based on two new results. First, we derive a general mixing time bound on finite state spaces, which can be applied to local MCMC schemes for other model selection problems. Second, we construct high-probability search paths on the space of equivalence classes with node degree constraints by proving a combinatorial property of DAG comparisons. Simulation studies on the proposed MCMC sampler are conducted to illustrate the main theoretical findings.

研究の動機と目的

• 探索空間が大きく、マルコフ同値性があるためにMCMCサンプラーの混合が遅いという高次元DAG構造学習の課題に対処すること。
• 同値類空間上でランダムウォークメトロポリス・ハスティングスアルゴリズムの混合挙動に関する理論的保証を確立すること。
• 高次元スパarsity仮定のもとで、ベイズ学習の複雑さが標本サイズ$n$および次元$p$に関して多項式的に増加することを証明すること。
• モデル選択問題における局所MCMCスキームに一般に適用可能な混合時間の上限を導出すること。
• ノード次数制約とDAG比較の新しい組合せ的性質を用いて、同値類上での高確率的探索経路を構築すること。

提案手法

• 局所MCMCスキームに適用可能な一般の有限状態混合時間上限を導出し、モデル選択問題における収束解析を可能にする。
• ノード次数制約を用いた同値類空間上での標準的経路構成を導入し、高確率的連結性を保証する。
• 局所移動を用いたランダムウォークメトロポリス・ハスティングスアルゴリズムを採用し、局所的提案確率を活用して混合を改善する。
• Poincaré不等式を用いてスペクトルギャップを評価し、高次元スパarsityのもとで高速混合を確立する。
• 弱な忠実性のもとで安定な「真の」モデルを定義するために、しきい値付き係数構造を用いた修正された経験ベイズモデルを適用する。
• 提案されたMCMCサンプラーに関するシミュレーションスタディを通じて理論的結果を検証し、収束の速さとスパースDAG構造の正確な回復を示す。

実験結果

リサーチクエスチョン

• RQ1 $p \gg n$という高次元設定下で、同値類上でのランダムウォークメトロポリス・ハスティングスアルゴリズムは高速混合を示すか？
• RQ2 スパarsityおよび高次元性の仮定のもとで、ベイズ構造学習の混合時間は$n$および$p$に関して多項式的に増加するか？
• RQ3 真のモデルがスパースである場合、高次元DAG学習における経験ベイズモデルで強い選択的一致性が達成可能か？
• RQ4 有限状態空間上での局所MCMCスキームに一般に適用可能な混合時間上限を導出可能か？
• RQ5 DAGの組合せ的性質とノード次数制約を用いて、同値類上での高確率的探索経路をどのように構築できるか？

主な発見

• 同値類空間上でのランダムウォークメトロポリス・ハスティングスアルゴリズムの混合時間は、$n$および$p$に関して多項式的に増加し、高次元スパarsityのもとで高速混合が確認された。
• 一般の有限状態混合時間上限が導出され、DAG学習を越えて局所MCMCスキームに一般に適用可能である。
• ノード次数制約を用いた同値類上での高確率的標準的経路が構築され、スレクトルギャップ解析が可能になった。
• 高次元スパarsityおよび弱い忠実性のもとで、経験ベイズモデルの強い選択的一致性が確立された。
• 理論的結果はシミュレーションにより検証され、収束の速さとスパースDAG構造の正確な回復が示された。
• 小さな係数を持つ非忠実な例でも、強いベータ最小条件が成立しなくても本手法が有効であることが示された。