[論文レビュー] Learning Bayesian Networks with Low Rank Conditional Probability Tables

Adarsh Barik, Jean Honorio|arXiv (Cornell University)|May 1, 2019

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、ブラックボックスモデルへの少ない条件付き確率クエリを用いて、低ランクの条件付き確率表（CPT）を伴うベイジアンネットワークの正確な有向構造を学習する手法を提案する。低ランク性を集合関数のフーリエ解析に結びつけることで、多項式時間の構造回復と多項式的サンプル複雑性を保証する。これにより、データアクセスが限られた状況でも、効率的かつ証明可能に正しい学習が可能になる。

ABSTRACT

In this paper, we provide a method to learn the directed structure of a Bayesian network using data. The data is accessed by making conditional probability queries to a black-box model. We introduce a notion of simplicity of representation of conditional probability tables for the nodes in the Bayesian network, that we call ``low rankness''. We connect this notion to the Fourier transformation of real valued set functions and propose a method which learns the exact directed structure of a `low rank` Bayesian network using very few queries. We formally prove that our method correctly recovers the true directed structure, runs in polynomial time and only needs polynomial samples with respect to the number of nodes. We also provide further improvements in efficiency if we have access to some observational data.

研究の動機と目的

• ブラックボックスモデルを介してのみ条件付き確率クエリが利用可能な状況におけるベイジアンネットワーク構造学習の課題に対処すること。
• 代表的単純性の概念を「低ランク性」として形式化し、効率的な構造学習を可能にすること。
• 最小限のデータとクエリで、低ランクベイジアンネットワークの真の有向構造を回復する多項式時間アルゴリズムを開発すること。
• 観測データも利用可能な状況において、効率性をさらに向上させるために手法を拡張すること。

提案手法

• 条件付き確率表（CPT）における「低ランク性」の概念を導入し、表現の単純さの尺度として定義すること。
• 低ランクCPTと実数値集合関数のフーリエ変換との間の関係を確立すること。
• 条件付き確率クエリを用いて真のネットワーク構造を推定するクエリ効率の良いアルゴリズムを設計すること。
• フーリエベースの分解を活用し、最小限のクエリオーバーヘッドでノードの親集合を特定すること。
• 構造回復に多項式時間複雑性と多項式的サンプル要件を保証すること。
• 観測データを統合することで、学習プロセスにおけるクエリ効率をさらに向上させること。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスモデルへの条件付き確率クエリのみを用いて、ベイジアンネットワークの有向構造を正確に回復できるか？
• RQ2 CPTにおける低ランク性は、集合関数のフーリエ解析とどのように正式に結びつけることができるか？
• RQ3 低ランクベイジアンネットワークの正確な構造回復を保証するために必要な最小クエリ数は何か？
• RQ4 ノード数の増加に対しても、正しさと多項式的複雑性を維持しながら効率的にスケーリングできるか？
• RQ5 観測データへのアクセスが、低ランク仮定下での構造学習の効率性をどのように向上させるか？

主な発見

• 提案手法は、多項式的数のクエリを用いて、低ランクベイジアンネットワークの正確な有向構造を保証的に回復する。
• アルゴリズムは多項式時間で実行され、ノード数に対して多項式的サンプル数を要する。
• 低ランクCPTと集合関数のフーリエ変換との間の関係が、効率的かつ正確な構造推定を可能にする。
• 最小限のクエリアクセスで正確な回復が達成されるため、ブラックボックスモデル設定に適している。
• 追加の観測データによりクエリ効率がさらに向上し、実用的なスケーラビリティが向上する。