[論文レビュー] Learning Quadratic Variance Function (QVF) DAG models via OverDispersion Scoring (ODS)

Gunwoong Park, Garvesh Raskutti|arXiv (Cornell University)|Apr 28, 2017

Bayesian Modeling and Causal Inference参考文献 23被引用数 12

ひとこと要約

本稿では、ノードの分散が平均の2次関数として定義される Quadratic Variance Function (QVF) DAG モデルを導入し、因果構造学習における同定可能性を可能にする。また、道徳的グラフのスパarsityと過分散を活用する OverDispersion Scoring (ODS) アルゴリズムを提案し、高次元設定（$p > n$）においても大規模な DAG を一貫して学習可能であり、理論的保証と最先端の手法に比べ優れた実験的性能を示す。

ABSTRACT

Learning DAG or Bayesian network models is an important problem in multi-variate causal inference. However, a number of challenges arises in learning large-scale DAG models including model identifiability and computational complexity since the space of directed graphs is huge. In this paper, we address these issues in a number of steps for a broad class of DAG models where the noise or variance is signal-dependent. Firstly we introduce a new class of identifiable DAG models, where each node has a distribution where the variance is a quadratic function of the mean (QVF DAG models). Our QVF DAG models include many interesting classes of distributions such as Poisson, Binomial, Geometric, Exponential, Gamma and many other distributions in which the noise variance depends on the mean. We prove that this class of QVF DAG models is identifiable, and introduce a new algorithm, the OverDispersion Scoring (ODS) algorithm, for learning large-scale QVF DAG models. Our algorithm is based on firstly learning the moralized or undirected graphical model representation of the DAG to reduce the DAG search-space, and then exploiting the quadratic variance property to learn the causal ordering. We show through theoretical results and simulations that our algorithm is statistically consistent in the high-dimensional p>n setting provided that the degree of the moralized graph is bounded and performs well compared to state-of-the-art DAG-learning algorithms.

研究の動機と目的

• 観測データからの因果構造学習における同定可能性と計算複雑性を改善するため、信号に依存する分散を有する新しいモデルクラスを導入すること。
• 過分散とグラフのスパarsity を活用して探索空間を削減するスケーラブルなアルゴリズムを開発すること。
• 有界な道徳的グラフ次数のもとで、高次元的状況（$p > n$）における DAG 学習の理論的一貫性保証を提供すること。
• 低次元および高次元の合成データにおいて、最先端の DAG 学習手法と比較して ODS アルゴリズムの優れた実験的性能を示すこと。

提案手法

• 各ノードの条件付き分布の分散が平均の2次関数として定義される QVF DAG モデルを提案し、ポisson、二項分布、ガンマ分布、指数分布の族を含む。
• まず道徳的無向グラフを学習することで DAG の探索空間を縮小する OverDispersion Scoring (ODS) アルゴリズムを導入する。
• 分散が平均に依存する過分散を、因果順序の特定に役立てる主要な非対称性として活用し、i.i.d. ノイズの仮定なしに同定可能性を実現する。
• 道徳的グラフ上のスパース回帰により親集合を回復するため、$oldsymbol{ heta}$-正則化尤度推定と $oldsymbol{ heta}$-依存ペナルティを適用する。
• 平均値定理と集中不等式を用いて推定誤差を抑え、親集合回復の符号の一貫性を保証する。
• 理論的分析とシミュレーション研究を統合し、高次元的かつスパースな設定下での一貫性と性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 平均に依存する分散を有する QVF DAG モデルは、観測データからの因果構造学習において同定可能性を提供できるか？
• RQ2 過分散とグラフのスパarsity を用いることで、$p > n$ の状況においても DAG 学習の統計的一貫性を達成できるか？
• RQ3 大規模グラフにおいて、ODS アルゴリズムは最先端の DAG 学習手法と比較して、精度とスケーラビリティの面で優れているか？
• RQ4 高次元的状況下で、ODS アルゴリズムが真の DAG 構造を高確率で回復するための理論的条件は何か？

主な発見

• ODS アルゴリズムは、道徳的グラフの次数が有界である限り、高次元的状況（$p > n$）で統計的一致性を達成する。
• 理論的分析により、サンプルサイズ $n$ が $n \geq D'\max\{(d\log^2\eta)^{1/(a-2\kappa_2)}, (d\log^3\eta)^{1/(a-\kappa_2)}\}$ を満たす場合、ODS アルゴリズムは高確率で真の DAG を回復できることが示された。ここで $D'$, $a \in (2\kappa_2, 1/2)$ は定数である。
• 親集合回復において符号の一貫性を達成し、$P(\widehat{G} = G) \geq 1 - D_1 d p \exp(-D_2 n^{1-2a}) - D_3 \eta^{-1}$ が成り立つ。
• シミュレーションにより、ODS は低次元および高次元の両設定において、最先端の DAG 学習アルゴリズムを上回ることを示した。5000ノードまで含むグラフに対しても有効である。
• 過分散を用いて因果順序を正しく同定でき、ノイズ分散が平均に依存するような状況でも同定可能性を実現した。これは、従来の手法がカバーできない設定である。
• 推定誤差と残差項の理論的バインドにより、非親変数が高確率で正しく除外されることが保証された。