[論文レビュー] Learning Clique Forests

Guido Previde Massara, Tomaso Aste|arXiv (Cornell University)|May 6, 2019

Statistical Methods and Inference参考文献 71被引用数 4

ひとこと要約

本稿では、トポロジカルに不変なクリーク拡張作用素を用いて木構造のクリーク集合を再帰的に拡張することで、データからスパースで弦的（chordal）なグラフィカルモデルを学習する、新しいアルゴリズムである最大フィルタードクリークフォレスト（MFCF）を提案する。この手法は、効率的な正確な推論を可能にする分解可能（decomposable）なマルコフ確率場を生成し、特に小標本条件下で、グラフィカルラッソや縮小推定法を凌駕する性能を示す。

ABSTRACT

We propose a topological learning algorithm for the estimation of the conditional dependency structure of large sets of random variables from sparse and noisy data. The algorithm, named Maximally Filtered Clique Forest (MFCF), produces a clique forest and an associated Markov Random Field (MRF) by generalising Prim's minimum spanning tree algorithm. To the best of our knowledge, the MFCF presents three elements of novelty with respect to existing structure learning approaches. The first is the repeated application of a local topological move, the clique expansion, that preserves the decomposability of the underlying graph. Through this move the decomposability and calculation of scores is performed incrementally at the variable (rather than edge) level, and this provides better computational performance and an intuitive application of multivariate statistical tests. The second is the capability to accommodate a variety of score functions and, while this paper is focused on multivariate normal distributions, it can be directly generalised to different types of statistics. Finally, the third is the variable range of allowed clique sizes which is an adjustable topological constraint that acts as a topological penalizer providing a way to tackle sparsity at $l_0$ semi-norm level; this allows a clean decoupling of structure learning and parameter estimation. The MFCF produces a representation of the clique forest, together with a perfect ordering of the cliques and a perfect elimination ordering for the vertices. As an example we propose an application to covariance selection models and we show that the MCFC outperforms the Graphical Lasso for a number of classes of matrices.

研究の動機と目的

• 弦的グラフの形成によって計算の tractability（取り扱いやすさ）を保証する一般的でスケーラブルな手法を、データから複雑なネットワーク構造を学習するために開発すること。
• TMFGアルゴリズムを一般化し、任意のクリークサイズとマルチクリーク分離子を許容することで、従来の手法の構造的硬直性を克服すること。
• クリークフォレストを用いた分解可能モデルの構築により、有界な木幅（treewidth）を保つことで、グラフィカルモデルにおける効率的な正確な推論を可能にすること。
• 多様な応用に適応可能なように、利益関数（gain functions）をカスタマイズ可能なフレームワークを提供すること。これには、共分散選択やトポロジカルデータ解析が含まれる。
• クリークフォレストが、変化するデータにおける恒常的ホモロジー（persistent homology）や動的ネットワーク更新の基盤として果たす可能性を調査すること。

提案手法

• MFCFアルゴリズムは、クリークフォレスト構造を保持し、再帰的なノード追加においてトポロジカル不変性を保証するクリーク拡張作用素を用いる。
• 新しいノードは、構造的改善（例えば、条件付き独立性や尤度）を定量化する利益関数を最大化することで接続される。
• 得られるクリークフォレストは弦的グラフであり、分解可能性を保証し、ジョイントツリー（junction tree）アルゴリズムによる効率的な推論を可能にする。
• この手法は、クリークサイズと分離子の多重性をカスタマイズ可能であり、モデルの複雑さと木幅の制御が可能である。
• アルゴリズムはプリムのMSTアルゴリズムを一般化しており、クラスカルに類似した変種への適応も可能であるが、初期クラスタリングの影響により、初期の結果では最適でない性能が示された。
• 小標本における共分散推定の性能を向上させるために、新規な「クリークツリー・ターゲット」縮小推定器が提案されている。

実験結果

リサーチクエスチョン

• RQ1 一般用途のネットワーク学習アルゴリズムを設計可能か。その際、弦的性と分解可能性を保証するとともに、多様なデータタイプや利益関数に柔軟に対応できるか。
• RQ2 MFCF手法は、特に小標本条件下で、グラフィカルラッソなどの既存手法と比較して、共分散選択タスクにおいてどのように性能を発揮するか。
• RQ3 クリークフォレスト構造は、恒常的ホモロジー（persistent homology）や階層的ネットワーク追跡を含むトポロジカルデータ解析をどの程度サポートできるか。
• RQ4 クリーク拡張作用素の使用が、モデルの分解可能性を維持し、正確な推論を可能にする上で、どのような意味を持つのか。
• RQ5 MFCFフレームワークは、剪定や再構成を通じて、専門知識の統合や動的データの更新を可能に拡張可能か。

主な発見

• MFCFアルゴリズムは、特に小標本サイズ下で、グラフィカルラッソや標準的な縮小推定器を常に上回る性能を示す。
• 得られるクリークフォレストは弦的であり、関連するグラフィカルモデルが分解可能であり、ジョイントツリーアルゴリズムによる正確な推論を可能にする。
• クリーク拡張作用素はクリークフォレスト構造を維持し、ネットワークの再帰的かつトポロジカルに不変な拡大を可能にする。
• この手法は、任意のクリークサイズとマルチクリーク分離子を許容することで、TMFGを一般化し、構造的柔軟性を著しく向上させた。
• 提案された「クリークツリー・ターゲット」縮小推定器は、小標本設定においても期待される結果を示し、推定の正確性が向上している可能性を示唆している。
• MFCFフレームワークは動的更新と剪定をサポートしており、クリークフォレスト構造により、幾何学的構造を損なわずに削除可能なエッジを特定できる。