[論文レビュー] High-dimensional consistency in score-based and hybrid structure learning

Preetam Nandy, Alain Hauser+1 more|arXiv (Cornell University)|Jul 9, 2015

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、スコアベースおよびハイブリッド型ベイジアンネットワーク構造学習手法、特にグリーディ同等性探索（GES）およびその自己適合変種であるARGESに対して、データに依存する探索空間制限を導入することで、高次元での一貫性を確立する。スパースな高次元設定下での一貫性を証明し、シミュレーションにより、GESおよびARGESがPCアルゴリズムを上回る推定品質を示すとともに、数千変数にスケーリング可能であることを示す。

ABSTRACT

Main approaches for learning Bayesian networks can be classified as constraint-based, score-based or hybrid methods. Although high-dimensional consistency results are available for constraint-based methods like the PC algorithm, such results have not been proved for score-based or hybrid methods, and most of the hybrid methods have not even shown to be consistent in the classical setting where the number of variables remains fixed and the sample size tends to infinity. In this paper, we show that consistency of hybrid methods based on greedy equivalence search (GES) can be achieved in the classical setting with adaptive restrictions on the search space that depend on the current state of the algorithm. Moreover, we prove consistency of GES and adaptively restricted GES (ARGES) in several sparse high-dimensional settings. ARGES scales well to sparse graphs with thousands of variables and our simulation study indicates that both GES and ARGES generally outperform the PC algorithm.

研究の動機と目的

• スコアベースおよびハイブリッド型構造学習手法（例：GESおよびそのハイブリッド変種）における高次元的一貫性結果の欠如に対処すること。
• 変数数が標本サイズとともに増加するスパースな高次元設定において、GESおよびその自己適合変種ARGESの理論的一貫性を確立すること。
• スコアベース手法の高次元データにおけるスケーラビリティおよび推定性能を向上させるために、自己適合的探索空間制限を導入すること。
• 制約ベース（例：PC）とスコアベース（例：GES）手法の間の理論的ギャップを埋めることで、多変量正規分布設定下での概念的およびアルゴリズム的関連性を示すこと。
• 安定性選択または拡張BICを用いて、(AR)GESのペナルティパラメータ選択に関する実用的指針を提供することにより、スパースな高次元モデルにおける性能を向上させること。

提案手法

• 条件付き独立性検定を用いてアルゴリズムの現在の状態に基づき探索空間を制限する、自己適合的制限付きGES（ARGES）を導入する。
• 真のDAGがすべての条件付き独立関係を正確に表現するDAG完全仮定の下で、古典的設定（固定p、n → ∞）におけるGESおよびARGESの一貫性を証明する。
• 仮定(A5)の下で、オラクル版アルゴリズムの成長を制御する条件下で、ARGESの高次元的一貫性を確立する。この条件は、Chow-Liuアルゴリズムとの関連を通じて十分条件として導出される。
• 多変量正規分布設定下で、GESとPCが密接に関連していることを示す：GESは偏相関係数の閾値を用いてエッジを追加・削除するが、これは条件付き独立性検定と類似した動作を示す。
• 非正規分布（ノンパラメトリック正規分布）に対しては、ランク相関に基づく新しいスコア基準を提案し、ガウス分布の仮定を超えたスコアベース学習を可能にする。
• ARGESの前向き段階と、選択的GES（SGES）の後向き段階を組み合わせ、SGESの多項式時間計算量および弱い条件下での一貫性を活用する。

実験結果

リサーチクエスチョン

• RQ1 変数数が標本サイズとともに増加する状況で、GESおよびハイブリッド手法が高次元的一貫性を達成できるか？
• RQ2 どのような自己適合的探索空間制限が、スパースな高次元設定下での一貫性のある構造学習を可能にするか？
• RQ3 スコアベース手法（例：GES）と制約ベース手法（例：PC）の推定精度およびスケーラビリティに関して、どのように比較できるか？
• RQ4 多変量正規分布設定下で、GESと制約ベースアルゴリズム（例：PC）との理論的関連性は何か？
• RQ5 ARGESの一貫性は、より弱い分布的仮定の下で最小独立マップの学習へと拡張可能か？

主な発見

• ARGESは、オラクル版アルゴリズムが成長条件(A5)を満たすスパースな高次元設定下で高次元的一貫性を達成する。この条件は、強い構造的仮定の下で成立することが示された。
• GESは、DAG完全仮定の下で、分布的制限（真のDAGがすべての条件付き独立関係を表現する）の存在を除き、スパースな高次元設定下でも古典的設定（固定p、n → ∞）で一貫性を示す。
• シミュレーション結果から、PCアルゴリズムの優れたスケーラビリティや広範な使用にもかかわらず、GESおよびARGESが推定品質においてPCを上回ることが示された。
• ARGESの前向き段階は、大標本極限において真のCPDAGの独立マップを生成する。これは、SGESのような一貫性のある後向き段階と組み合わせることで一貫性を達成可能であることを示唆する。
• GESとChow-Liuアルゴリズムとの間で、新しい理論的関連性が確立され、高次元設定下におけるGESの挙動に関する理論的洞察が得られた。
• 本稿では、(AR)GESにおけるペナルティパラメータ選択に安定性選択または拡張BIC基準を推奨する。これらは、スパースな高次元モデルにおいて標準BICを上回る性能を示す。