[논문 리뷰] Conditions Under Which Conditional Independence and Scoring Methods Lead to Identical Selection of Bayesian Network Models

Robert G. Cowell|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 39

한 줄 요약

이 논문은 완전한 데이터와 고정된 노드 순서 하에서, 베이지안 네트워크 구조 학습의 조건부 인력 테스트와 점수 기반 방법이 수학적으로 동치임을 보여준다. 구체적으로, 조건부 인력 테스트에 사용되는 교차 엔트로피 측정치가 모델 점수 산정에 사용되는 로그 점수 차이와 정확히 일치함을 입증하며, 문헌에서 일반적으로 별개의 접근법으로 간주되는 두 방법을 통합한다.

ABSTRACT

It is often stated in papers tackling the task of inferring Bayesian network structures from data that there are these two distinct approaches: (i) Apply conditional independence tests when testing for the presence or otherwise of edges; (ii) Search the model space using a scoring metric. Here I argue that for complete data and a given node ordering this division is a myth, by showing that cross entropy methods for checking conditional independence are mathematically identical to methods based upon discriminating between models by their overall goodness-of-fit logarithmic scores.

연구 동기 및 목표

• 베이지안 네트워크 구조 학습에서 조건부 인력 테스트와 점수 기반 방법이 본질적으로 다른 접근법이라는 오랫동안 지속된 인식을 해결하기 위해.
• 조건부 인력 테스트에 사용되는 교차 엔트로피 측정치와 모델 선택에 사용되는 로그 점수 지표 사이의 공식적인 수학적 연결을 수립하기 위해.
• 완전한 데이터와 고정된 노드 순서 하에서, 두 방법이 동일한 모델 선택 결과를 도출함을 보여주기 위해.
• 제약 기반 및 점수 기반 학습 프레임워크 간의 관계에 대한 문헌 내 개념적 혼동을 명확히 하기 위해.

제안 방법

• 논문은 조건부 인력 테스트에 사용되는 교차 엔트로피 측정치와 모델 비교에 사용되는 로그 점수 간의 수학적 동치성을 분석한다.
• 조건부 인력 테스트의 검정 통계량과 모델 간 로그우도 점수의 차이 사이의 관계를 유도한다.
• 분석은 완전한 데이터와 고정된 노드 순서를 전제로 하며, 이는 구조 공간을 단순화한다.
• 저자는 정보 이론 원리를 사용하여, 조건부 인력 테스트 기반으로 간선을 포함할지 여부를 결정하는 것은 로그 점수가 더 높은 모델을 선택하는 것과 동일함을 보여준다.
• 이 equivalence는 인접한 모델들에 대해 교차 엔트로피 차이의 부호가 로그 점수 차이의 부호와 일치함을 보여줌으로써 증명된다.

실험 결과

연구 질문

• RQ1 조건부 인력 테스트와 점수 기반 방법이 동일한 베이지안 네트워크 구조를 도출하는 조건은 무엇인가?
• RQ2 조건부 인력 테스트에 사용되는 검정 통계량과 모델 선택에 사용되는 점수 사이에 수학적 관계가 존재하는가?
• RQ3 완전한 데이터와 고정된 노드 순서의 맥락에서 제약 기반 및 점수 기반 학습 간의 동치성이 공식적으로 증명될 수 있는가?
• RQ4 이 둘의 방법이 특정 조건 하에서 수학적으로 동치임에도 불구하고, 왜 문헌에서는 이들이 본질적으로 다른 접근법이라고 지속적으로 인식되는가?

주요 결과

• 완전한 데이터와 고정된 노드 순서 하에서, 교차 엔트로피 측정치를 사용한 조건부 인력 테스트는 로그 점수 지표를 사용한 모델 선택과 수학적으로 동치이다.
• 조건부 인력 테스트 기반으로 방향 간선을 포함할지 여부를 결정하는 것은 두 후보 구조 중 로그 점수가 더 높은 모델을 선택하는 것과 정확히 동일하다.
• 이 동치성은 두 모델 간의 교차 엔트로피 차이가 정확히 그들의 로그 점수 차이와 일치하기 때문에 성립한다.
• 이 결과는 두 방법이 본질적으로 다른 것이 아니라, 동일한 통계적 결정보의 두 가지 시각이라는 것을 시사한다.