[논문 리뷰] Partial correlation graphs and the neighborhood lattice.

Arash A. Amini, Bryon Aragam외 1명|arXiv (Cornell University)|2017. 11. 03.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 분포 가정 없이 일반 힐버트 공간 내 변수에 대해 부분상관계 그래프(Partial Correlation Graphs, PCGs)를 일반화하고, 사영 연산자를 사용하여 이웃 회귀분석이 격자 구조(neighbourhood lattice)를 이룬다는 것을 입증한다. 격자 성질은 부분상관계 검증의 복잡도를 크게 감소시키며, 완전성 조건이 만족될 경우, PCGs를 통해 방향성 없는 비순환 그래프(DAGs)의 효율적이고 샘플 수가 적은 학습이 가능해진다.

ABSTRACT

We define and study partial correlation graphs (PCGs) with variables in a general Hilbert space and their connections to generalized neighborhood regression, without making any distributional assumptions. Using operator-theoretic arguments, and especially the properties of projection operators on Hilbert spaces, we show that these neighborhood regressions have the algebraic structure of a lattice, which we call a neighborhood lattice. This lattice property significantly reduces the number of conditions one has to check when testing all partial correlation relations among a collection of variables. In addition, we generalize the notion of perfectness in graphical models for a general PCG to this Hilbert space setting, and establish that almost all Gram matrices are perfect. Under this perfectness assumption, we show how these neighborhood lattices may be graphically computed using separation properties of PCGs. We also discuss extensions of these ideas to directed models, which present unique challenges compared to their undirected counterparts. Our results have implications for multivariate statistical learning in general, including structural equation models, subspace clustering, and dimension reduction. For example, we discuss how to compute neighborhood lattices efficiently and furthermore how they can be used to reduce the sample complexity of learning directed acyclic graphs. Our work demonstrates that this abstract viewpoint via projection operators significantly simplifies existing ideas and arguments from the graphical modeling literature, and furthermore can be used to extend these ideas to more general nonparametric settings.

연구 동기 및 목표

• 분포 가정 없이 일반 힐버트 공간 내 변수에 대해 부분상관계 그래프(PCGs)를 일반화하는 것.
• 연산자 이론적 방법을 사용하여 이웃 회귀분석이 격자 구조를 이룬다는 것을 확립하는 것.
• 변수 간 모든 부분상관계 관계를 검증하기 위해 필요한 조건의 수를 줄이는 것.
• 그래프 모델에서의 완전성 개념을 힐버트 공간 설정으로 확장하고, 이 설정에서 거의 모든 그램 행렬이 완전하다는 것을 보여주는 것.
• 이웃 격자가 어떻게 효율적인 PCG 계산 및 학습을 가능하게 하는지 보여주는 것 — 특히 샘플 복잡도를 감소시켜서

제안 방법

• 비모수적 설정에서 힐버트 공간 상의 사영 연산자를 사용하여 이웃 회귀분석을 정의하고 분석하는 것.
• 사영 연산자의 대수적 성질을 활용하여 이웃 회귀분석 집합이 격자 구조를 이룬다는 것을 확립하는 것.
• 격자 구조를 적용하여 부분상관계 검증의 수를 지수적 복잡도에서 다항식 복잡도로 감소시키는 것.
• 힐버트 공간 PCGs로의 완전성 개념 일반화를 시도하고, 이 설정에서 거의 모든 그램 행렬이 완전하다는 것을 증명하는 것.
• 완전성 조건 하에서 PCGs의 분리 성질을 활용하여 그래픽적으로 이웃 격자를 계산하는 것.
• 방향성 모델로의 프레임워크 확장을 시도하며, 무방향 모델과의 비교에서 발생하는 고유한 과제를 식별하고 격자 기반 추론을 통해 해결책을 제안하는 것.

실험 결과

연구 질문

• RQ1 어떻게 분포 가정 없이 힐버트 공간 내 변수에 대해 부분상관계 그래프를 일반화할 수 있는가?
• RQ2 이 일반 설정에서 이웃 회귀분석의 배경이 되는 대수적 구조는 무엇이며, 이는 부분상관계 관계 검증을 어떻게 단순화하는가?
• RQ3 그래프 모델에서의 완전성 개념을 힐버트 공간 PCGs로 확장할 수 있으며, 이 설정에서 완전한 그램 행렬은 얼마나 흔한가?
• RQ4 이웃 회귀분석의 격자 구조는 데이터로부터 PCG를 효율적으로 계산하거나 학습하는 데 어떻게 활용될 수 있는가?
• RQ5 이 격자 구조는 특히 샘플 복잡도 감소 측면에서 방향성 없는 비순환 그래프(DAGs) 학습에 어떤 영향을 미치는가?

주요 결과

• 힐버트 공간 내 이웃 회귀분석은 격자 구조를 이룬다. 이는 부분상관계 검증의 수를 크게 감소시킨다.
• 격자 성질 덕분에 완전성 조건이 성립할 경우 분리 성질을 활용하여 PCG를 효율적으로 계산할 수 있다.
• 힐버트 공간 설정에서는 거의 모든 그램 행렬이 완전하다. 이는 완전성 가정이 일반적이며 널리 적용 가능하다는 것을 의미한다.
• 격자 구조를 활용함으로써 방향성 없는 비순환 그래프(DAGs) 학습의 샘플 복잡도를 감소시킬 수 있다.
• 사영 연산자의 사용은 기존 그래픽 모델 이론의 결과들을 단순화하고 일반화하는 통합적이고 추상적인 프레임워크를 제공한다.
• 이 접근법은 방향성 모델로 자연스럽게 확장되며, 비모수적 구조 방정식 모델링과 차원 축소에 새로운 길을 열어준다.