[論文レビュー] Near-Optimal Learning of Tree-Structured Distributions by Chow-Liu

Arnab Bhattacharyya, Sutanu Gayen+2 more|arXiv (Cornell University)|Nov 9, 2020

Machine Learning and Algorithms参考文献 53被引用数 6

ひとこと要約

本稿は、木構造の分布を学習する Chow-Liu アルゴリズムについて、有限標本保証を提供する。真の分布が木構造のとき、$\mathrm{O}(|\Sigma|^{3}n\varepsilon^{-1})$ 個の i.i.d. 表本があれば、定数確率で $\ varepsilon$-近似木を出力することが示された。また、一般の分布に対しては、$\ Omega(n^{2}\varepsilon^{-2})$ の標本複雑性下界を確立し、$\ widetilde{O}(|\Sigma|^{3}/\varepsilon)$ 表本で条件付き独立性テストが行えることにより、条件付き独立性テスト分野における未解決問題を解消した。

ABSTRACT

We provide finite sample guarantees for the classical Chow-Liu algorithm (IEEE Trans.~Inform.~Theory, 1968) to learn a tree-structured graphical model of a distribution. For a distribution $P$ on $Σ^n$ and a tree $T$ on $n$ nodes, we say $T$ is an $\varepsilon$-approximate tree for $P$ if there is a $T$-structured distribution $Q$ such that $D(P\;||\;Q)$ is at most $\varepsilon$ more than the best possible tree-structured distribution for $P$. We show that if $P$ itself is tree-structured, then the Chow-Liu algorithm with the plug-in estimator for mutual information with $\widetilde{O}(|Σ|^3 n\varepsilon^{-1})$ i.i.d.~samples outputs an $\varepsilon$-approximate tree for $P$ with constant probability. In contrast, for a general $P$ (which may not be tree-structured), $Ω(n^2\varepsilon^{-2})$ samples are necessary to find an $\varepsilon$-approximate tree. Our upper bound is based on a new conditional independence tester that addresses an open problem posed by Canonne, Diakonikolas, Kane, and Stewart~(STOC, 2018): we prove that for three random variables $X,Y,Z$ each over $Σ$, testing if $I(X; Y \mid Z)$ is $0$ or $\geq \varepsilon$ is possible with $\widetilde{O}(|Σ|^3/\varepsilon)$ samples. Finally, we show that for a specific tree $T$, with $\widetilde{O} (|Σ|^2n\varepsilon^{-1})$ samples from a distribution $P$ over $Σ^n$, one can efficiently learn the closest $T$-structured distribution in KL divergence by applying the add-1 estimator at each node.

研究の動機と目的

• 木構造のグラフィカルモデルを学習する Chow-Liu アルゴリズムに対する有限標本保証を提供すること。
• 分布 $P$ に対して、$\varepsilon$-近似木（最良の木構造近似と $\varepsilon$ 以内）を出力するために必要な標本複雑性を分析すること。
• Canonne 他（2018）が提起した未解決問題を解決し、$I(X;Y|Z) \geq \varepsilon$ か $=0$ かを $\ widetilde{O}(|\Sigma|^3 / \varepsilon)$ 表本でテストできることを示すこと。
• 追加-1推定子を用いた特定の木構造の分布を学習する際のタイトな標本複雑性バウンドを確立すること。

提案手法

• 本稿は、$\u005c widetilde{O}(|\Sigma|^3 / \varepsilon)$ 表本で、条件付き相互情報量が 0 か $\varepsilon$ 以上かを区別できる新しい条件付き独立性テスト手法を導入する。
• 相互情報量のプラグイン推定子を用い、集中不等式とエントロピー推定誤差の制御を通じてその有限標本挙動を分析する。
• Pinsker の不等式を用いて KL 発散と全 Variation 距離を関連づけ、近似品質に関する確率的保証を可能にする。
• 固定された木 $T$ を学習する場合、各ノードで追加-1推定子を適用し、KL 発散において最も近い $T$ 構造の分布を効率的に学習する。
• Le Cam の二点法と積分布における Hellinger 距離の因数分解を用いて、理論的下界を導出する。
• 一般の場合から木構造の場合への還元を用い、$P$ が木構造的でない場合でも、$\varepsilon$-近似学習に $\Omega(n^2\varepsilon^{-2})$ 表本が必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 木構造の分布 $P$ に対して、Chow-Liu アルゴリズムが $\varepsilon$-近似木を出力するために必要な有限標本の標本複雑性は何か？
• RQ2 Canonne 他（2018）が提起した未解決問題を解消し、$I(X;Y|Z) = 0$ か $I(X;Y|Z) \geq \varepsilon$ かを $\u005c widetilde{O}(|\Sigma|^3 / \varepsilon)$ 表本でテストできるか？
• RQ3 追加-1推定子を用いた固定された木構造の分布を学習する際の最適な標本複雑性は何か？
• RQ4 木構造の分布に対する $\varepsilon$-近似学習に $\u005c widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$ 表本が必要であることはタイトか？
• RQ5 一般の分布に対して $\varepsilon$-近似学習を達成するために必要な情報理論的下界は何か？

主な発見

• 木構造の分布 $P$ に対して、プラグイン相互情報量推定子を用いた Chow-Liu アルゴリズムは、定数確率で $\u005c widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$ 個の i.i.d. 表本で $\varepsilon$-近似学習を達成する。
• 本稿で提案する条件付き独立性テスト手法は、$I(X;Y|Z) = 0$ と $I(X;Y|Z) \geq \varepsilon$ を $\u005c widetilde{O}(|\Sigma|^3 / \varepsilon)$ 表本で区別でき、未解決問題を解決した。
• 固定された木 $T$ に対して、追加-1推定子を用いることで、KL 発散において最も近い $T$ 構造の分布を $\u005c widetilde{O}(|\Sigma|^2 n \varepsilon^{-1})$ 表本で効率的に学習できる。
• 一般の分布に対する $\varepsilon$-近似学習に $\Omega(n^2 \varepsilon^{-2})$ 表本が必要である下界を確立し、上界がほぼタイトであることを示した。
• 木構造の分布を学習する場合の標本複雑性は、一般の分布を学習する場合よりも厳密に良好であり、構造的仮定の利点を浮き彫りにした。
• 解析により、Chow-Liu アルゴリズムが分布の誤特定に強く、$P$ が木構造的でない場合でも良い近似を提供することが示された。