[論文レビュー] Square Hellinger Subadditivity for Bayesian Networks and its Applications to Identity Testing

Constantinos Daskalakis, Qinxuan Pan|arXiv (Cornell University)|Dec 9, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用数 14

ひとこと要約

本稿は、同一のDAG上のベイジアンネットワークに対して、平方ヘルンバーゲルの部分加法性不等式を確立する。この不等式により、2つのネットワーク間の平方ヘルンバーゲル距離が、各ノードとその親ノードの組み合わせごとの平方距離の和で上界されると示される。これにより、有界な次数を持つネットワークでは Õ(|Σ|^{3/4(d+1)}n/ε²) のサンプルで最適なサンプル効率の同一性検定が可能となり、積分布では O(√n/ε²) が得られる。これは既知の下界と定数要因を除いて一致する。

ABSTRACT

We show that the square Hellinger distance between two Bayesian networks on the same directed graph, $G$, is subadditive with respect to the neighborhoods of $G$. Namely, if $P$ and $Q$ are the probability distributions defined by two Bayesian networks on the same DAG, our inequality states that the square Hellinger distance, $H^2(P,Q)$, between $P$ and $Q$ is upper bounded by the sum, $\sum_v H^2(P_{\{v\} \cup Π_v}, Q_{\{v\} \cup Π_v})$, of the square Hellinger distances between the marginals of $P$ and $Q$ on every node $v$ and its parents $Π_v$ in the DAG. Importantly, our bound does not involve the conditionals but the marginals of $P$ and $Q$. We derive a similar inequality for more general Markov Random Fields. As an application of our inequality, we show that distinguishing whether two Bayesian networks $P$ and $Q$ on the same (but potentially unknown) DAG satisfy $P=Q$ vs $d_{ m TV}(P,Q)>ε$ can be performed from $ ilde{O}(|Σ|^{3/4(d+1)} \cdot n/ε^2)$ samples, where $d$ is the maximum in-degree of the DAG and $Σ$ the domain of each variable of the Bayesian networks. If $P$ and $Q$ are defined on potentially different and potentially unknown trees, the sample complexity becomes $ ilde{O}(|Σ|^{4.5} n/ε^2)$, whose dependence on $n, ε$ is optimal up to logarithmic factors. Lastly, if $P$ and $Q$ are product distributions over $\{0,1\}^n$ and $Q$ is known, the sample complexity becomes $O(\sqrt{n}/ε^2)$, which is optimal up to constant factors.

研究の動機と目的

• 高次元の構造的分布、たとえばベイジアンネットワークのための効率的な同一性検定アルゴリズムを開発すること。
• グラフィカルモデルの構造を活用することで、高次元分布のテストにおける指数的サンプル複雑度の障壁を克服すること。
• ベイジアンネットワークおよびマルコフ確率的場への新しい平方ヘルンバーゲルの部分加法性不等式を確立すること。
• 全変動距離の下で、同一性検定のための最適または近似的最適なサンプル複雑度を達成すること。
• イジングモデルに関する先行研究を、より一般的な確率的グラフィカルモデルへと拡張すること。

提案手法

• 平方ヘルンバーゲルの部分加法性を導出：H²(P,Q) ≤ ∑ᵥ H²(P_{v∪Πᵥ}, Q_{v∪Πᵥ}) であり、P と Q は同一のDAG G 上のベイジアンネットワークである。
• 部分加法性不等式を用いて、グローバルなテストを、各ノードとその親ノードの集合（マークオフブラケット）におけるローカルなテストに還元する。
• qᵢ ≥ ε/(cn) であると仮定しても、全変動距離が定数因子しか悪化しないことを、カップリングの議論により示す。
• [ADK15] の χ² に基づくテストフレームワークをヘルンバーゲル設定へ適応し、各座標からの独立サンプルをシミュレートするためにポアソン化サンプリングを用いる。
• 検定統計量 Z = ∑ᵢ ((Nᵢ − mqᵢ)² − Nᵢ)/(mqᵢ) を用い、集中不等式を用いてその期待値と分散を解析する。
• チェビシェフの不等式を用いて、P=Q と d_TV(P,Q) > ε の区別が可能であり、誤差確率が 1/3 以下に抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 同一のDAG上にある2つのベイジアンネットワーク間の平方ヘルンバーゲル距離が、局所的なマークオフブラケット（ノードと親ノードの集合）ごとの和で上界できるか？
• RQ2 この部分加法性不等式が、構造的高次元分布における同一性検定の最適なサンプル複雑度を実現できるか？
• RQ3 i.i.d. テストの指数的バインドを超えて、ベイジアンネットワークの同一性検定のサンプル複雑度を改善できるか？
• RQ4 分布が {0,1}ⁿ 上の積分布であり、Q が既知であるとき、同一性検定の最適なサンプル複雑度は何か？
• RQ5 部分加法性不等式は一般のマルコフ確率的場へどのように拡張できるか？

主な発見

• 同一のDAG上にある2つのベイジアンネットワーク間の平方ヘルンバーゲル距離は、各ノードとその親ノードの組み合わせごとの平方ヘルンバーゲル距離の和で上界され、条件付き確率を含まない。
• 最大入次数 d のベイジアンネットワークでは、同一性検定に Õ(|Σ|^{3/4(d+1)}n/ε²) のサンプルが必要であり、これは対数要因を除いて最適である。
• 未知の木構造上のベイジアンネットワークでは、サンプル複雑度が Õ(|Σ|^{4.5}n/ε²) となり、n と ε に対する最適な依存関係が対数要因を除いて達成される。
• {0,1}ⁿ 上の積分布で Q が既知のとき、同一性検定には O(√n/ε²) のサンプルが必要であり、これは定数要因を除いて最適である。
• 部分加法性不等式は一般のマルコフ確率的場へ拡張可能であり、同様のテスト保証が得られる。
• ポアソン化サンプリングと、分散が有界な χ² 型の検定統計量を用いた解析により、集中に基づく仮説検定が可能になる。