[論文レビュー] Learning Generalized Hypergeometric Distribution (GHD) DAG models.

Gunwoong Park|arXiv (Cornell University)|May 8, 2018

Bayesian Modeling and Causal Inference参考文献 13被引用数 3

ひとこと要約

本稿では、条件付きノード分布に一般化超幾何分布（GHD）を用いた識別可能なベイジアンネットワークモデルの新クラスを導入する。有限データからトレイサブルなアルゴリズムを用いて、元のDAG構造を完全に回復できることを証明しており、次数が有界な高次元設定でも統計的整合性を示し、最先端の手法を上回ることを示している。

ABSTRACT

We introduce a new class of identifiable DAG models, where each node has a conditional distribution given its parents belongs to a family of generalized hypergeometric distributions (GHD). a family of generalized hypergeometric distributions (GHD) includes a lot of discrete distributions such as Binomial, Beta-binomial, Poisson, Poisson type, displaced Poisson, hyper-Poisson, logarithmic, and many more. We prove that if the data drawn from the new class of DAG models, one can fully identify the graph. We further provide a reliable and tractable algorithm that recovers the directed graph from finitely many data. We show through theoretical results and simulations that our algorithm is statistically consistent even in high-dimensional settings ($n >p$) if the degree of the graph is bounded, and performs well compared to state-of-the-art DAG-learning algorithms.

研究の動機と目的

• 一般化超幾何分布（GHD）を用いた離散データ向けの識別可能なDAGモデルの新クラスの開発。
• 有限標本からのDAG構造が完全に回復可能となる理論的条件の確立。
• データから有向グラフを学習するための計算効率的かつ統計的整合性を持つアルゴリズムの設計。
• サンプル数が変数数を上回る高次元設定（n > p）における性能評価。
• 提案手法を最先端のDAG学習アルゴリズムと比較し、精度およびスケーラビリティの観点から評価。

提案手法

• 本稿では、一般化超幾何分布（GHD）を用いた新たな条件付き分布の族を定義し、これには二項分布、ポアソン分布、ベータ・二項分布といった一般的な離散分布が包含される。
• やや弱い正則性条件のもとで、i.i.d.データからGHD-DAGモデルが生成された場合に、DAG構造が識別可能であることを証明する。
• GHDの指数型分布族の構造を活用したスコアベースの学習アルゴリズムを提案し、DAG空間上の効率的最適化を可能にする。
• GHD指数型分布族に特化したペナルティ付き尤度スコアを用いたグリーディ探索戦略を採用し、計算の tractability を確保する。
• 次数が有界であるという仮定のもとで、指数型分布族の集中不等式を用いて、n > p の場合でも理論的整合性を確立する。
• シミュレーションにより、さまざまな離散分布および高次元設定下での手法の性能が検証される。

実験結果

リサーチクエスチョン

• RQ1 一般化超幾何分布（GHD）に基づくDAGモデルの新クラスは、有限標本から完全な構造的同定を可能にするか？
• RQ2 GHD-DAGモデルから生成されたデータから、計算が可能で統計的整合性を持つDAG構造学習アルゴリズムは存在するか？
• RQ3 サンプル数が変数数を上回る高次元設定（n > p）において、提案手法の性能はいかがなものか？
• RQ4 本手法は、既存の最先端DAG学習アルゴリズムを離散データに対して上回るか？
• RQ5 有界なグラフ次数が、提案フレームワークにおける構造学習の整合性および正確性に与える影響は何か？

主な発見

• 提案されたGHD-DAGモデルは、やや弱い正則性条件のもとで、有限i.i.d.標本から元のDAG構造を完全に同定可能である。
• 最大ノード次数が有界である限り、n > p の高次元設定でも、アルゴリズムが統計的整合性を示す。
• 二項分布、ポアソン分布、対数分布族を含む多様な離散分布において、実験的性能が強く発揮される。
• 合成データおよび実世界の離散データにおいて、構造的正確性と頑健性の観点から、最先端のDAG学習手法を上回る性能を示す。
• 理論的分析により、GHDに基づくスコア関数が、グリーディ最適化による効率的かつ整合的な構造学習を可能にすることが確認された。
• 有界次数の仮定と指数型分布族の性質のおかげで、変数数が標本数を上回る場合でも、高い正確性を維持する。