[論文レビュー] Adaptive Penalized Estimation of Directed Acyclic Graphs From Categorical Data

Jiaying Gu, Fei Fu+1 more|arXiv (Cornell University)|Mar 10, 2014

Bayesian Modeling and Causal Inference参考文献 45被引用数 6

ひとこと要約

本稿では、カテゴリカルデータからスパースな有向無閉路グラフ（DAG）を推定するためのペナルティ付き尤度法を提案する。多項対数線形回帰を用いて条件付き分布をモデル化し、ブロックワイド座標降下法により無閉路性を強制する。この手法は構造およびパラメータ推定において一貫性を示し、介入データおよび高次元の観測データ設定において既存手法を上回る性能を発揮する。

ABSTRACT

We develop in this article a penalized likelihood method to estimate sparse Bayesian networks from categorical data. The structure of a Bayesian network is represented by a directed acyclic graph (DAG). We model the conditional distribution of a node given its parents by multi-logit regression and estimate the structure of a DAG via maximizing a regularized likelihood. The adaptive group Lasso penalty is employed to encourage sparsity by selecting grouped dummy variables encoding the level of a factor. We develop a blockwise coordinate descent algorithm to solve the penalized likelihood problem subject to the acyclicity constraint of a DAG. When intervention data are available, our method may construct a causal network, in which a directed edge represents a causal relation. We apply our method to various simulated networks and a real biological network. The results show that our method is very competitive, compared to other existing methods, in DAG estimation from both interventional and high-dimensional observational data. We also establish consistency in parameter and structure estimation for our method when the number of nodes is fixed.

研究の動機と目的

• カテゴリカルデータからスパースなベイジアンネットワークをペナルティ付き尤度法で推定する手法の開発。
• 推定プロセスに無閉路性制約を組み込むことでDAG構造を強制する。
• 介入データが利用可能な場合に因果ネットワーク学習を可能にする。
• ノード数が固定されている条件下で、一貫したパラメータおよび構造推定を達成する。
• 高次元の観測データおよび介入データ設定において、スパarsityと精度を向上させる。

提案手法

• 各ノードの親を条件とする条件付き分布を、カテゴリカル変数における多項対数線形回帰でモデル化する。
• 因子水準を表すグループ化されたダミー変数の選択を促進するため、適応的グループLassoペナルティを適用する。
• 無閉路性制約を含む正則化された尤度最大化問題として推定問題を定式化する。
• DAG制約を維持しながらパラメータを反復的に更新するブロックワイド座標降下法を開発する。
• 最適化中に推定グラフが有効なDAGのまま保たれるように、無閉路性制約を活用する。
• 介入データを活用して因果関係を同定し、有向エッジが因果的効果を表すようにする。

実験結果

リサーチクエスチョン

• RQ1 適応的グループLassoを用いたペナルティ付き尤度アプローチは、カテゴリカルデータからのDAG構造推定に有効に機能するか？
• RQ2 高次元の観測データ設定において、この手法は真のDAG構造をどれほど正確に回復できるか？
• RQ3 介入データが利用可能な場合、この手法はどの程度の精度を維持するか？
• RQ4 標本サイズが増加するに従い、この手法はパラメータおよび構造推定において一貫性を示すか？
• RQ5 スパarsityおよび推定精度の観点から、既存手法と比較してどのように優れているか？

主な発見

• ノード数が固定されている条件下で、正則性条件のもとで、パラメータおよび構造推定が一貫的に行える。
• シミュレーテッドネットワークにおける実験的結果は、特に高次元設定において真のDAG構造を強く回復できることを示している。
• 介入データおよび観測データの両方において、構造的正確性の観点で既存手法を上回っている。
• 適応的グループLassoは、因子水準に対応するダミー変数のグループ全体を選択することで、効果的にスパarsityを促進している。
• ブロックワイド座標降下法は、最適化中に無閉路性制約を効率的に処理している。
• 介入データが利用可能な場合に、因果ネットワークを正しく構築できており、有向因果関係を的確に同定している。