[論文レビュー] Bounded Degree Approximations of Stochastic Networks

Christopher J. Quinn, Ali Pınar+1 more|arXiv (Cornell University)|Jun 15, 2015

Bayesian Modeling and Causal Inference参考文献 32被引用数 3

ひとこと要約

本稿では、Kullback-Leibler発散を最小化するように、有向情報グラフの最適および近似的に最適な有界出次数近似を計算するための効率的アルゴリズムを提案する。また、部分集合の単調性の緩和を新たに導入することで、因果的依存関係を保持しつつ、スパースで接続されており、視覚的に簡潔なネットワーク構造を容易に計算可能にする。

ABSTRACT

We propose algorithms to approximate directed information graphs. Directed information graphs are probabilistic graphical models that depict causal dependencies between stochastic processes in a network. The proposed algorithms identify optimal and near-optimal approximations in terms of Kullback-Leibler divergence. The user-chosen sparsity trades off the quality of the approximation against visual conciseness and computational tractability. One class of approximations contains graphs with specified in-degrees. Another class additionally requires that the graph is connected. For both classes, we propose algorithms to identify the optimal approximations and also near-optimal approximations, using a novel relaxation of submodularity. We also propose algorithms to identify the r-best approximations among these classes, enabling robust decision making.

研究の動機と目的

• 完全なトポロジーが計算的に非効率的かつ視覚的に過負荷となる大規模な確率的ネットワークの解析に直面する課題に対処すること。
• 有向情報による測定に基づき、確率的過程間の因果的依存関係を保持するスパースで接続されたネットワーク近似を特定すること。
• ユーザーが定義する出次数制限と接続性制約を課すことにより、モデルの正確性、計算効率、視覚的簡潔性のバランスを取ること。
• 部分集合の単調性の緩和を用いた新たな手法により、証明可能な良い近似を提供し、計算可能な最適化を可能にすること。
• 制約付きクラス内でr番目までの近似を計算することで、意思決定の強化を支援すること。

提案手法

• 出次数制限と接続性制約の下で有向情報グラフの最適化を効率的に行うために、部分集合の単調性の緩和を提案する。
• ペアワイズ有向情報値とグリーディ選択を用いて、最適な有界出次数近似を計算するためのアルゴリズムを開発する。
• 最良解の親集合を段階的に変更することで、r番目までの近似を計算する手法を導入し、親集合選択の独立性を活用する。
• 組合せ的列挙を用いた辞書式インデックス化スキームを採用し、探索空間における重複した解の追跡と回避を効率的に行う。
• 候補となる近似を管理し、高品質な解の効率的探索を保証するために優先度キューのデータ構造を用いる。
• ベースラインとしてMWDST（最大重み有向生成木）アルゴリズムを適用し、それをより高い出次数および接続されたグラフクラスに拡張する。

実験結果

リサーチクエスチョン

• RQ1 Kullback-Leibler発散の下で、有向情報グラフの最適な有界出次数近似をどのように計算できるか？
• RQ2 正確な最適化が非効率な場合、特に接続性および出次数制約の下で、近似的に最適な近似を効率的に計算できるか？
• RQ3 提案された近似アルゴリズムの理論的性能保証は、部分集合の単調性の緩和および有向情報の最大化の観点からどのように得られるか？
• RQ4 意思決定支援のため、系統立ててr番目までの近似を生成するにはどうすればよいか？
• RQ5 どの組合せ的インデックス化手法が、重複または既に確認済みの近似の効率的列挙と pruning を可能にするか？

主な発見

• 提案されたアルゴリズムは、結合確率分布の完全な情報が必要なく、ペアワイズ有向情報値のみを用いて、最適な有界出次数近似を計算可能である。
• 新規に導入した部分集合の単調性の緩和を活用し、接続された有界出次数問題に対して(1−e−L/∑i=0K−1αi)の近似比を保証する。
• r番目までの近似は、最良解からの親集合を1つずつ変更することで計算され、すべての高品質な候補が網羅的に探索される。
• 組合せ的インデックス化スキームにより、親集合の効率的表現と追跡が可能となり、探索空間内の重複が削減される。
• アルゴリズムは計算的に効率的かつスケーラブルであり、神経科学、遺伝子調節ネットワーク、ソーシャルネットワークなど数千ノード規模の応用に適している。
• 理論的分析により、与えられた仮定の下で親集合は独立して選択可能であることが確認され、モジュール式最適化が可能となる。