[論文レビュー] Learning directed acyclic graphs via bootstrap aggregating

Ru Wang, Jie Peng|arXiv (Cornell University)|Jun 9, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用数 4

ひとこと要約

本稿では、ブートストラップアンサンブル手法であるDAGBagを提案する。この手法は、ブートストラップリサンプリングから得た複数のDAGをアンサンブルすることで、高次元設定下での誤検出（I型誤り）を低減する。構造的ハミング距離をアンサンブル内のDAG群に対して最小化することで、安定的かつ低分散の構造学習を実現し、高い検出力も維持する。効率的な勾配上昇法の実装により、高次元データへのスケーラビリティが可能である。

ABSTRACT

Probabilistic graphical models are graphical representations of probability distributions. Graphical models have applications in many fields including biology, social sciences, linguistic, neuroscience. In this paper, we propose directed acyclic graphs (DAGs) learning via bootstrap aggregating. The proposed procedure is named as DAGBag. Specifically, an ensemble of DAGs is first learned based on bootstrap resamples of the data and then an aggregated DAG is derived by minimizing the overall distance to the entire ensemble. A family of metrics based on the structural hamming distance is defined for the space of DAGs (of a given node set) and is used for aggregation. Under the high-dimensional-low-sample size setting, the graph learned on one data set often has excessive number of false positive edges due to over-fitting of the noise. Aggregation overcomes over-fitting through variance reduction and thus greatly reduces false positives. We also develop an efficient implementation of the hill climbing search algorithm of DAG learning which makes the proposed method computationally competitive for the high-dimensional regime. The DAGBag procedure is implemented in the R package dagbag.

研究の動機と目的

• 高次元かつ小標本サイズの条件下でのDAG構造学習における高い分散と過学習の問題に対処すること。
• 小標本におけるノイズに起因する誤検出（I型誤り）を、ブートストラップアンサンブルによる分散低減によって低減すること。
• 高次元設定下でのスケーラブルなDAG学習を実現するための効率的な勾配上昇法の開発。
• 効果的なアンサンブル化を可能にする、構造的ハミング距離に基づくDAG空間上の距離尺度の族の提案。
• 任意のDAG学習アルゴリズムと組み合わせ可能な、安定なDAG構造学習のための汎用フレームワークの実装と評価。

提案手法

• ブートストラップリサンプリングを用いて複数のデータサブセットを生成し、それぞれを別個のDAG学習に用いる勾配上昇法による探索。
• アンサンブル内のDAG同士の類似度を測るため、構造的ハミング距離に基づく距離尺度の族を定義。
• 最終的なアンサンブルDAGは、アンサンブル内すべてのDAGからの総距離を最小化することで得られ、リサンプリング間での安定性が促進される。
• 事前の探索情報の再利用を可能にする最適化された勾配上昇法を実装し、スコア計算とサイクルの有無のチェックを高速化。
• Rパッケージ'dagbag'として実装され、任意のDAG学習手順と統合可能。
• BIC、BGe、GICなどのさまざまなスコア基準に適用可能であり、ロバストネスと性能の向上が示された。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップアンサンブルは、高次元DAG構造学習における誤検出（I型誤り）を顕著に低減できるか？
• RQ2 単一モデル手法と比較して、提案されたDAGBagフレームワークはDAG学習の安定性と正確性をどのように向上させるか？
• RQ3 BIC、BGe、GICなどの異なるスコア基準をDAGBagと組み合わせた場合、誤検出の制御と検出力にどのような影響を与えるか？
• RQ4 1000ノード（p=1000）のDAG学習において、提案された勾配上昇法の実装はどれほど効率的か？
• RQ5 正規分布の仮定違反（例：自由度3,5のスチューデントt分布、ガンマ分布）に対して、DAGBag手法はどれほどロバストか？

主な発見

• DAGBagは、特に高次元設定下で誤検出エッジを顕著に低減しつつ、エッジ検出の高パワーを維持する。
• 非アンサンブル手法と比較して、DAGBagは誤検出の低減がより顕著であり、BICスコアと組み合わせた場合、優れた性能と計算効率を示す。
• 最適化された勾配上昇法では、n=250の標本と1000ノードのDAGに対して約150秒で2000ステップの探索が可能である。
• BGeスコア（iss=10）では誤検出が過剰になるが、アンサンブルによりこれを緩和できる。一方、BGe（iss=3）はアンサンブルなしでも良好な性能を示す。
• 非正規誤差分布（例：自由度3,5のt分布、ガンマ分布）に対してもDAGBagはロバストであることが示され、分布の誤指定に対しても信頼性がある。
• BIC、like、GICスコアのすべてにおいて、DAGBagによるアンサンブルは、非アンサンブルバージョンと同等の性能を示すが、誤検出率は著しく低くなる。