[논문 리뷰] Learning non-Gaussian graphical models via Hessian scores and triangular transport

Ricardo Baptista, Youssef Marzouk외 2명|arXiv (Cornell University)|2021. 01. 08.

Bayesian Modeling and Causal Inference참고 문헌 64인용 수 1

한 줄 요약

이 논문은 연속적이고 비정규분포인 그래픽 모델의 마르코프 구조를 학습하기 위해 연속 밀도의 복합 로그밀도와 삼각형 운반 맵에서 유도된 헤시안 기반 점수를 활용하는 새로운 알고리즘 sing을 제안한다. 운반 맵를 통한 결정론적 결합을 통해 밀도를 추정하고 맵의 희소성을 활용하여 편향된 밀도 근사가 존재하더라도 진정한 그래프 구조를 복원할 수 있으며, 비정규분포 및 혼돈 동역계 시스템 데이터에서 일관된 구조 복원을 보여준다.

ABSTRACT

Undirected probabilistic graphical models represent the conditional dependencies, or Markov properties, of a collection of random variables. Knowing the sparsity of such a graphical model is valuable for modeling multivariate distributions and for efficiently performing inference. While the problem of learning graph structure from data has been studied extensively for certain parametric families of distributions, most existing methods fail to consistently recover the graph structure for non-Gaussian data. Here we propose an algorithm for learning the Markov structure of continuous and non-Gaussian distributions. To characterize conditional independence, we introduce a score based on integrated Hessian information from the joint log-density, and we prove that this score upper bounds the conditional mutual information for a general class of distributions. To compute the score, our algorithm SING estimates the density using a deterministic coupling, induced by a triangular transport map, and iteratively exploits sparse structure in the map to reveal sparsity in the graph. For certain non-Gaussian datasets, we show that our algorithm recovers the graph structure even with a biased approximation to the density. Among other examples, we apply SING to learn the dependencies between the states of a chaotic dynamical system with local interactions.

연구 동기 및 목표

• 연속적이고 비정규분포인 그래픽 모델에 대해 일관된 구조 학습 방법의 부족을 해결하기 위해.
• 일般적인 비정규분포에 대해 조건부 상호정보량을 상한으로 제공하는 통합 헤시안 정보 기반 점수를 개발하기 위해.
• 데이터를 표준 정규분포에 결정론적으로 연결하는 운반 맵의 희소성을 활용하여 희소 그래프 복원을 가능하게 하기 위해.
• 비정규 설정에서 편향된 밀도 근사에 대해 안정성을 유지하는지 검증하기 위해.
• 지역 상호작용을 가진 혼돈 동역계와 같은 실제 문제에 방법을 적용하기 위해.

제안 방법

• 공통 로그밀도의 제곱 헤시안을 통합하여 유도된 헤시안 기반 점수를 제안하며, 이는 조건부 상호정보량을 상한으로 제공한다.
• 삼각형 운반 맵을 사용하여 데이터 분포를 표준 정규분포에 결정론적으로 연결함으로써 몬테카를로 샘플링 없이 밀도 추정을 가능하게 한다.
• 희소성 유도 정규화를 사용한 다항 혼합 확장으로 운반 맵을 추정하여 맵의 구조적 희소성을 드러낸다.
• 통계적 추론을 위해 점근적 표준오차를 사용하여 헤시안 점수 추정치에 임계값 처리 절차를 적용한다.
• 운반 맵의 헤시안에서 발생하는 희소성을 활용하여 반복적으로 운반 맵과 그래프 구조를 개선하는 좌표 내림값 유사 알고리즘을 사용한다.
• 모든 변수 쌍에 대한 유니온 바운드를 적용하여 간선 집합 복원의 점근적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 헤시안 기반 점수는 비정규분포에서 조건부 인적성을 일관되게 추정할 수 있는가?
• RQ2 희소 구조를 가진 삼각형 운반 맵은 비정규 데이터의 기저 그래프 희소성을 드러낼 수 있는가?
• RQ3 밀도 추정치가 편향되어도 이 방법은 여전히 일관된가?
• RQ4 지역 상호작용을 가진 혼돈 동역계에서 알고리즘이 진정한 그래프 구조를 복원할 수 있는가?
• RQ5 비정규분포 데이터에서 기존 방법과 비교해 본다면 이 방법의 안정성과 정확도는 어떠한가?

주요 결과

• 제안된 헤시안 점수는 일반적인 비정규분포 클래스에 대해 조건부 상호정보량을 상한으로 제공하며, 구조 학습을 위한 타당한 점수이다.
• 알고리즘은 간선 집합 복원에서 점근적 일관성을 달성한다: 표본 크기가 증가함에 따라 진정한 그래프를 복원하지 못할 확률은 0으로 수렴한다.
• 편향된 밀도 근사가 존재하더라도 비정규 데이터셋에서 그래프 구조를 성공적으로 복원하여 안정성을 입증한다.
• 지역 상호작용을 가진 혼돈 동역계에서, sing은 유한 표본으로부터 진정한 상관관계 구조를 정확히 복원한다.
• 메모리 사용량은 차원과 다항식 차수에 비례하지만, 관리 가능한 수준을 유지하며, d=12 및 β=2일 때 첫 번째 반복의 메모리 사용량은 100MB 이하이다.
• 이론적 분석을 통해 정규성 조건 하에서 거짓 양성 및 거짓 음성 비율이 0으로 수렴함을 확인하여 일관된 구조 학습을 보장한다.