[논문 리뷰] Graphical Models and Exponential Families

Dan Geiger, Christopher Meek|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 40

한 줄 요약

이 논문은 지수족 프레임워크 내에서 그래픽 모델을 분류한다: 무방향 모델은 선형 지수족(LEFs), 유ERIC 모델과 체인 그래프는 곡선 지수족(CEFs), 은닉 변수를 가진 모델은 전면 조건을 만족하는 CEF들의 유한 합집합인 계층 지수족(SEFs)이다. 또한 은닉 변수를 포함하는 베이지안 네트워크로부터 조건부 인과성 및 비인과성 제약 조건을 자동으로 유도하는 알고리즘적 방법을 제공하여 모델 선택을 향상시킨다.

ABSTRACT

We provide a classification of graphical models according to their representation as subfamilies of exponential families. Undirected graphical models with no hidden variables are linear exponential families (LEFs), directed acyclic graphical models and chain graphs with no hidden variables, including Bayesian networks with several families of local distributions, are curved exponential families (CEFs) and graphical models with hidden variables are stratified exponential families (SEFs). An SEF is a finite union of CEFs satisfying a frontier condition. In addition, we illustrate how one can automatically generate independence and non-independence constraints on the distributions over the observable variables implied by a Bayesian network with hidden variables. The relevance of these results for model selection is examined.

연구 동기 및 목표

• 은닉 변수가 포함된 그래픽 모델을 지수족 내에서 체계적으로 분류하기.
• 은닉 변수를 가진 그래픽 모델의 수학적 구조를 계층 지수족(SEFs)으로 정형화하기.
• 관측되지 않은 변수를 포함하는 베이지안 네트워크로부터 조건부 인과성 및 비인과성 제약 조건을 자동으로 유도하는 방법 개발하기.
• 지수족 내 그래픽 모델의 대수적 구조를 활용하여 더 효과적인 모델 선택 지원하기.
• 그래픽 모델의 구조와 그 기반 분포의 통계적 성질 간의 관계 명확히 하기.

제안 방법

• 자연 매개변수화에 기반해 은닉 변수가 없는 무방향 그래픽 모델을 선형 지수족(LEFs)으로 분류하기.
• 자연 매개변수에 비선형 제약 조건이 존재하므로, 순환하지 않는 유ERIC 그래픽 모델과 체인 그래프(은닉 변수 없음)를 곡선 지수족(CEFs)으로 표현하기.
• 은닉 변수를 가진 그래픽 모델을 전면 조건을 만족하는 CEF들의 유한 합집합으로 정의하는 계층 지수족(SEFs)으로 모델링하기.
• 은닉 변수를 포함하는 베이지안 네트워크에서 관측 변수에 대해 유도되는 모든 조건부 인과성 및 비인과성 제약 조건을 계산하는 알고리즘 개발하기.
• 지수족의 대수적 구조를 활용해 전체 매개변수 추정이 필요 없이 제약 조건 도출하기.
• 전면 조건을 활용해 SEF 내 CEF들의 합집합이 잘 정의되고 식별 가능하도록 보장하기.

실험 결과

연구 질문

• RQ1 무방향 그래픽 모델는 어떻게 지수족 프레임워크 내에서 체계적으로 분류할 수 있는가?
• RQ2 은닉 변수가 없는 유ERIC 모델과 체인 그래프 모델의 지수족 구조는 무엇인가?
• RQ3 베이지안 네트워크에 은닉 변수가 존재할 경우, 이를 지수족 내에서 대수적으로 어떻게 표현할 수 있는가?
• RQ4 은닉 변수가 있는 베이지안 네트워크는 관측 변수에 대해 어떤 조건부 인과성 및 비인과성 제약 조건을 유도하는가?
• RQ5 이러한 구조적 제약 조건은 그래픽 모델의 모델 선택을 어떻게 향상시킬 수 있는가?

주요 결과

• 은닉 변수가 없는 무방향 그래픽 모델은 자연 매개변수에 선형 제약 조건이 존재하는 선형 지수족(LEFs)이다.
• 순환하지 않는 유ERIC 그래픽 모델과 체인 그래프(은닉 변수 없음)는 매개변수 공간 내 비선형 제약 조건이 존재하므로 곡선 지수족(CEFs)이다.
• 은닉 변수를 가진 그래픽 모델은 전면 조건을 만족하는 CEF들의 유한 합집합으로 정의되는 계층 지수족(SEFs)이다.
• 은닉 변수를 포함하는 베이지안 네트워크에서 관측 변수에 대해 유도되는 모든 조건부 인과성 및 비인과성 제약 조건을 자동으로 생성하는 알고리즘 절차가 개발되었다.
• 유도된 제약 조건는 은닉 변수가 존재할 경우, 서로 다른 그래픽 모델을 구분하는 데 필수적이며, 특히 모델 선택 과정에서 중요하다.
• 이 분류는 다양한 그래픽 모델의 통계적 및 기하학적 구조를 이해하는 통합적인 대수적 프레임워크를 제공한다.