[논문 리뷰] Bayesian Models of Graphs, Arrays and Other Exchangeable Random Structures

Peter Orbanz, Daniel M. Roy|arXiv (Cornell University)|2013. 12. 30.

Bayesian Methods and Mixture Models참고 문헌 6인용 수 5

한 줄 요약

이 논문은 교환 가능성과 표현 정리의 힘을 빌려 구조적 데이터인 그래프, 배열, 네트워크 등으로 베이지안 비모수 모델링을 확장한다—즉, 디 피넷의 정리의 일반화로서 랜덤 구조에 대해 적용한다. 교환 가능한 랜덤 그래프와 배열은 교환 가능한 분포를 통해 표현 가능하며, 이는 네트워크 및 관계형 데이터에 대해 이론적 보장이 있는 원칙적인 비모수 사전분포를 가능하게 한다.

ABSTRACT

The natural habitat of most Bayesian methods is data represented by exchangeable sequences of observations, for which de Finetti's theorem provides the theoretical foundation. Dirichlet process clustering, Gaussian process regression, and many other parametric and nonparametric Bayesian models fall within the remit of this framework; many problems arising in modern data analysis do not. This article provides an introduction to Bayesian models of graphs, matrices, and other data that can be modeled by random structures. We describe results in probability theory that generalize de Finetti's theorem to such data and discuss their relevance to nonparametric Bayesian modeling. With the basic ideas in place, we survey example models available in the literature; applications of such models include collaborative filtering, link prediction, and graph and network analysis. We also highlight connections to recent developments in graph theory and probability, and sketch the more general mathematical foundation of Bayesian methods for other types of data beyond sequences and arrays.

연구 동기 및 목표

• 교환 가능한 수열을 초월해 그래프, 배열, 분할과 같은 구조적 데이터 유형으로 디 피넷의 정리를 일반화하는 것.
• 교환성과 같은 확률적 대칭성(예: 교환 가능성)을 이용해 그래프 값, 행렬 값, 기타 구조적 데이터에 적합한 통계 모델의 적절한 클래스를 규명하는 것.
• 랜덤 그래프와 배열의 비모수 베이지안 모델을 구축하기 위한 이론적 기초를 제공하는 것—에르고딕 분해와 표현 정리 포함.
• 교환 가능한 랜덤 구조를 현대적인 네트워크 분석, 협업 필터링, 링크 예측 등 응용과 연결하는 것.
• 특히 희박한 그래프 모델에 대한 도전 과제를 부각시키며, 특히 역치환 불변성 또는 희박한 그래프 모델에 대한 타당한 표현이 부족한 점을 지적하는 것.

제안 방법

• 교환 가능성과 표현 정리(예: 올드스-후버, 킹먼의 페인트박스)를 적용하여 랜덤 그래프와 배열을 조건부 독립적 구조의 혼합으로 모델링한다.
• 교환 가능한 배열의 경우 올드스-후버 표현을 사용해 측정 가능 함수인 커널 함수를 통해 그래프 분포를 특성화하며, 이는 구조적 데이터로의 i.i.d. 표본 추출의 일반화이다.
• 에르고딕 분해를 적용하여 교환 가능한 랜덤 구조를 극단적(에르고딕) 분포의 혼합으로 표현함으로써, 베이지안 모델에서 사전분포를 설정할 수 있도록 한다.
• 그래프 극한 이론과 컷 노름을 활용해 교환 가능한 배열의 해석적 표현과 확률적 대칭성 간의 연결 고리를 설정한다.
• 네트워크 및 관계형 데이터에 대한 비모수 사전분포로 교환 가능한 분포를 도입하며, 클러스터링, 링크 예측, 행렬 분해 등 응용에 활용한다.
• 현재의 대칭성(예: 교환 가능성, 역치환 불변성)이 희박한 그래프에 대해 가지는 한계를 분석하여, 실용적인 통계 모델에 대해 타당한 표현이 부족한 점을 규명한다.

실험 결과

연구 질문

• RQ1 구조적 특성이 내재된 그래프 값, 배열 값 데이터에 대해 적절한 베이지안 모델의 클래스는 무엇인가?
• RQ2 디 피넷 유형의 표현 정리가 어떻게 랜덤 그래프와 고차원 배열로 일반화되어 비모수 모델링을 지원할 수 있는가?
• RQ3 교환 가능성, 역치환 불변성 등의 확률적 대칭성이 네트워크 데이터에 대해 타당하고 해석 가능한 통계 모델을 도출하는 데 어떻게 기여하는가?
• RQ4 기존의 교환 가능한 그래프 표현이 왜 희박한 그래프로 일반화되지 못하는가? 이를 해결하기 위해 어떤 새로운 대칭성이 필요할 수 있는가?
• RQ5 교환 가능한 랜덤 구조의 에르고딕 분해는 어떻게 네트워크 및 관계형 데이터에 대한 민첩하고 비모수적인 사전분포를 구성하는 데 활용될 수 있는가?

주요 결과

• 교환 가능한 랜덤 그래프와 배열은 조건부 독립적 구조의 혼합으로 표현 가능하며, 이 혼합 측도는 비모수 사전분포에 해당한다.
• 올드스-후버 표현은 측정 가능 커널 함수를 통해 교환 가능한 배열을 완전히 특성화하며, 이는 구조적 데이터로의 i.i.d. 표본 추출의 일반화이다.
• 교환 가능한 그래프의 에르고딕 분포는 변형된 간선 균일 표본 추출 방식을 일반화한 표본 추출 체계로 특성화되며, 이는 비모수 모델링을 가능하게 한다.
• 교환 가능성은 풍부한 모델링 프레임워크를 제공하지만, 밀도 높은 그래프 모델을 초래하여 힘의 법칙 성질을 가지는 희박한 네트워크에는 부적합하다.
• 역치환 불변성은 자연스러운 대칭성이지만, 실용적인 통계 모델에 대해 타당한 표현을 도출하지 못하므로, 희박한 그래프 모델링을 위한 새로운 대칭성이 필요함을 시사한다.
• 교환 가능한 구조, 그래프 극한, 함수해석학 간의 이론적 연결 고리는 복잡한 네트워크 모델의 분석 및 시뮬레이션 기반을 제공한다.