[論文レビュー] Partial correlation graphs and the neighborhood lattice.

Arash A. Amini, Bryon Aragam+1 more|arXiv (Cornell University)|Nov 3, 2017

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

この論文は、ヒルバート空間における部分相関グラフ（PCGs）を導入し、射影作用素を用いて近隣回帰がラティス構造—すなわち近隣ラティス—を形成することを確立している。ラティス性質により、部分相関の検定の複雑さが著しく低減され、完全性の仮定のもとでは、PCGsは効率的なグラフィカル計算とDAGの学習における標本複雑度の低減を可能にする。

ABSTRACT

We define and study partial correlation graphs (PCGs) with variables in a general Hilbert space and their connections to generalized neighborhood regression, without making any distributional assumptions. Using operator-theoretic arguments, and especially the properties of projection operators on Hilbert spaces, we show that these neighborhood regressions have the algebraic structure of a lattice, which we call a neighborhood lattice. This lattice property significantly reduces the number of conditions one has to check when testing all partial correlation relations among a collection of variables. In addition, we generalize the notion of perfectness in graphical models for a general PCG to this Hilbert space setting, and establish that almost all Gram matrices are perfect. Under this perfectness assumption, we show how these neighborhood lattices may be graphically computed using separation properties of PCGs. We also discuss extensions of these ideas to directed models, which present unique challenges compared to their undirected counterparts. Our results have implications for multivariate statistical learning in general, including structural equation models, subspace clustering, and dimension reduction. For example, we discuss how to compute neighborhood lattices efficiently and furthermore how they can be used to reduce the sample complexity of learning directed acyclic graphs. Our work demonstrates that this abstract viewpoint via projection operators significantly simplifies existing ideas and arguments from the graphical modeling literature, and furthermore can be used to extend these ideas to more general nonparametric settings.

研究の動機と目的

• 分布的仮定を一切設けずに、一般のヒルバート空間内の変数へ部分相関グラフ（PCGs）を一般化すること。
• 作用素論的手法を用いて、近隣回帰がラティス構造を形成することを確立すること。
• 変数間のすべての部分相関関係をテストするために必要な条件の数を削減すること。
• グラフィカルモデルにおける完全性の概念をヒルバート空間設定に拡張し、この設定でほとんどすべてのグラム行列が完全であることを示すこと。
• 近隣ラティスが、標本複雑度を低減させながら、効率的に有向非巡回グラフ（DAGs）を計算・学習するのにどう利用できるかを示すこと。

提案手法

• 非パラメトリックな設定において、ヒルバート空間上の射影作用素を用いて近隣回帰を定義・分析する。
• 射影作用素の代数的性質を活用して、近隣回帰の集合がラティスを形成することを確立する。
• ラティス構造を応用して、部分相関検定に必要な条件の数を指数的から多項式的複雑度に削減する。
• ヒルバート空間におけるPCGsへの完全性の概念の一般化を行い、この設定でほとんどすべてのグラム行列が完全であることを証明する。
• PCGsの分離性質を用いて、完全性仮定のもとで近隣ラティスをグラフィカルに計算する。
• 有向モデルへと枠組みを拡張し、無向モデルと比較して生じる一意の課題を特定し、ラティスに基づく推論により解決策を提案する。

実験結果

リサーチクエスチョン

• RQ1 特定の分布を仮定せずに、ヒルバート空間内の変数へ部分相関グラフをどのように一般化できるか？
• RQ2 この一般設定における近隣回帰の背後にある代数的構造は何か？ そして、部分相関関係の検定をどのように簡略化できるか？
• RQ3 グラフィカルモデルにおける完全性の概念をヒルバート空間におけるPCGsに拡張できるか？ また、この文脈で完全なグラム行列はどれほど一般的か？
• RQ4 近隣回帰のラティス構造をどのように活用して、データからPCGsを効率的に計算・学習できるか？
• RQ5 このラティス構造が、特に標本複雑度の低減という点で、有向非巡回グラフ（DAGs）の学習に与える影響は何か？

主な発見

• ヒルバート空間における近隣回帰はラティス構造を形成し、部分相関検定に必要な条件の数を著しく削減する。
• ラティス性質により、完全性条件が成り立つ場合には、分離性質を用いてPCGsの効率的計算が可能になる。
• ヒルバート空間設定では、ほとんどすべてのグラム行列が完全であるため、完全性仮定は一般的で広く適用可能であることが示された。
• ラティス構造を活用することで、DAGの学習に際して標本複雑度を低減できる。
• 射影作用素の使用により、統一的かつ抽象的な枠組みが得られ、従来のグラフィカルモデリングの結果が簡略化・一般化される。
• このアプローチは有向モデルへ自然に拡張可能であり、非パラメトリック構造方程式モデリングや次元削減のための新たな道筋を提供する。