[논문 리뷰] Finding Optimal Bayesian Networks

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 112

한 줄 요약

이 논문은 점점 더 일관된 점수 기준을 사용하는 탐욕적 베이지안 네트워크 검색 알고리즘들이 더 약한 조합 성질 가정 하에, 더 강력한 완전성 조건을 요구하지 않고도 포함 최적의 베이지안 네트워크 구조로 수렴함을 입증한다. 주요 기여는 이러한 알고리즘이 진정한 생성 분포를 포함하고, 그러한 성질을 가진 더 작은 부분 모델이 존재하지 않는 모델을 식별함을 증명한 것이다. 이는 관측되지 않은 변수나 선택 편향이 존재할 경우에도 성립한다.

ABSTRACT

In this paper, we derive optimality results for greedy Bayesian-network search algorithms that perform single-edge modifications at each step and use asymptotically consistent scoring criteria. Our results extend those of Meek (1997) and Chickering (2002), who demonstrate that in the limit of large datasets, if the generative distribution is perfect with respect to a DAG defined over the observable variables, such search algorithms will identify this optimal (i.e. generative) DAG model. We relax their assumption about the generative distribution, and assume only that this distribution satisfies the {em composition property} over the observable variables, which is a more realistic assumption for real domains. Under this assumption, we guarantee that the search algorithms identify an {em inclusion-optimal} model; that is, a model that (1) contains the generative distribution and (2) has no sub-model that contains this distribution. In addition, we show that the composition property is guaranteed to hold whenever the dependence relationships in the generative distribution can be characterized by paths between singleton elements in some generative graphical model (e.g. a DAG, a chain graph, or a Markov network) even when the generative model includes unobserved variables, and even when the observed data is subject to selection bias.

연구 동기 및 목표

• 베이지안 네트워크 구조 학습에서 강력한 완전성 가정을 완화하기 위해.
• 탐욕적 검색 알고리즘이 포함 최적의 모델로 수렴하는 조건을 설정하기 위해.
• 조합 성질이 진정한 생성 분포를 포함하는 모델로의 수렴을 보장함을 입증하기 위해.
• 관측된 데이터에 잠재 변수나 선택 편향이 존재할 경우에도 조합 성질이 유지됨을 보여주기 위해.
• 점점 더 일관된 점수 기준의 점근적 일관성에 관한 이전 결과를 더 현실적인 데이터 생성 과정으로 확장하기 위해.

제안 방법

• 저자들은 조건부 최적성의 필요 및 충분 조건으로서 조합 성질을 정의한다.
• 한 번에 한 개의 간선만 수정하는 탐욕적 검색 알고리즘과 점점 더 일관된 점수 기준을 분석한다.
• 이 방법은 조합 성질이 성립할 경우, 국소 최적해가 항상 포함 최적의 모델과 일치함을 증명하는 데 의존한다.
• 증명 기법은 DAG, 체인 그래프, 마르코프 네트워크를 포함한 그래프 모델의 종속성 관계의 구조를 분석하는 데 사용된다.
• 이전의 Meek(1997)과 Chickering(2002)의 결과를 일반화하기 위해, 완전성 가정을 조합 성질로 대체한다.
• 조합 성질이 성립하는 한, 관측되지 않은 변수가 있는 모델이나 선택 편향이 존재하는 데이터에 대해서도 이 프레임워크가 적용 가능하다.

실험 결과

연구 질문

• RQ1 탐욕적 베이지안 네트워크 검색 알고리즘이 진정한 생성 분포를 포함하는 모델로 수렴하는 조건은 무엇인가?
• RQ2 생성 분포가 DAG에 대해 완전성이 있다고 가정하지 않더라도 최적의 모델로의 수렴을 보장할 수 있는가?
• RQ3 관측된 데이터에 잠재 변수나 선택 편향이 존재할 경우에도 조합 성질이 유지되는가?
• RQ4 포함 최적의 모델로의 수렴을 보장하는 데 충분한, 완전성보다 더 약한 조건은 존재하는가?
• RQ5 조합 성질 하에서 점점 더 일관된 점수 기준을 사용하여 포함 최적의 구조를 식별할 수 있는가?

주요 결과

• 점점 더 일관된 점수 기준을 사용하는 탐욕적 검색 알고리즘은 조합 성질 하에 포함 최적의 베이지안 네트워크 구조로 수렴한다.
• 조합 성질은 생성 분포의 종속성 관계가 그래프 모델의 경로로 표현될 수 있는 한 항상 성립한다. 이는 관측되지 않은 변수가 존재할 경우에도 성립한다.
• 관측된 데이터에 선택 편향이 존재할 경우에도 조합 성질은 유지된다.
• 알고리즘이 식별한 포함 최적의 모델은 진정한 생성 분포를 포함하고 있으며, 그러한 성질을 가진 더 작은 부분 모델이 존재하지 않는다.
• 이전의 연구를 일반화하여 완전성 가정을 완화함으로써, 이론적 보장이 더 넓은 실세계 영역에 적용 가능해졌다.
• 조합 성질이 성립하는 한, 잠재 혼란 변수나 선택 편향이 존재하는 데이터로부터의 학습이 가능해진다.