[논문 리뷰] Structure Learning from Related Data Sets with a Hierarchical Bayesian Score

Laura Azzimonti, Giorgio Corani외 1명|arXiv (Cornell University)|2020. 01. 01.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 2

한 줄 요약

이 논문은 다수의 관련이지만 비동질적인 데이터 세트에서 베이지안 네트워크 구조를 학습하기 위한 새로운 베이지안 계층적 딜리클(베이지안 Hierarchical Dirichlet, BHD) 점수를 제안한다. 서로 다른 데이터 세트 간의 정보를 융합하면서도 구조적 차이를 고려하는 계층적 사전분포를 활용함으로써, BHD는 기존의 표준 BDeu 점수에 비해 재구성 정확도(구조적 허밍 거리로 측정)를 향상시키며, 특히 비동질적인 환경에서 뛰어난 성능을 보이며, 더 희박하고 더 해석 가능한 네트워크를 생성하여 임의의 양성 화살표를 줄인다.

ABSTRACT

Score functions for learning the structure of Bayesian networks in the literature assume that data are a homogeneous set of observations; whereas it is often the case that they comprise different related, but not homogeneous, data sets collected in different ways. In this paper we propose a new Bayesian Dirichlet score, which we call Bayesian Hierarchical Dirichlet (BHD). The proposed score is based on a hierarchical model that pools information across data sets to learn a single encompassing network structure, while taking into account the differences in their probabilistic structures. We derive a closed-form expression for BHD using a variational approximation of the marginal likelihood and we study its performance using simulated data. We find that, when data comprise multiple related data sets, BHD outperforms the Bayesian Dirichlet equivalent uniform (BDeu) score in terms of reconstruction accuracy as measured by the Structural Hamming distance, and that it is as accurate as BDeu when data are homogeneous. Moreover, the estimated networks are sparser and therefore more interpretable than those obtained with BDeu, thanks to a lower number of false positive arcs.

연구 동기 및 목표

• 기존의 베이지안 네트워크 구조 학습 방법이 동질적인 데이터를 가정한다는 한계를 해결하기 위해, 실생활에서는 흔히 발생하지 않는 동질성 가정을 제거하고자 한다.
• 서로 관련이 있지만 동일하지 않은 다수의 데이터 세트에서 단일 네트워크 구조를 효과적으로 학습할 수 있는 점수 함수를 개발하고자 한다.
• 계층적 모델링 접근을 통해 공유되는 구조와 데이터 세트별 고유의 확률적 구조를 통합하고자 한다.
• 기존의 표준 점수(예: BDeu)에 비해 잘못된 양성 화살표를 줄임으로써 네트워크의 해석 가능성 향상을 도모하고자 한다.
• 제안된 방법의 성능을 재구성 정확도 및 구조적 희박성 측면에서 BDeu와 비교 평가하고자 한다.

제안 방법

• 다양한 데이터 세트 간의 공유 및 데이터 세트별 특성 파라미터를 모델링하기 위해 계층적 사전분포를 기반으로 한 베이지안 계층적 딜리클(BHD) 점수를 제안한다.
• 가장자리 가능도의 닫힌 형태 표현식을 도출하기 위해 변분 근사를 사용하여 BHD 점수의 효율적 계산을 가능하게 한다.
• 정보 공유를 가능하게 하면서도 데이터 세트별 특성을 유지할 수 있도록 계층적 딜리클 사전분포를 사용하여 조건부 확률 분포를 모델링한다.
• 모든 데이터 세트에 걸쳐 최적의 네트워크 구조를 식별하기 위해 점수 기반의 구조 학습 프레임워크 내에서 BHD 점수를 적용한다.
• 불가항력적인 가장자리 가능도 계산을 처리하기 위해 변분 근사를 활용하여, 다수의 데이터 세트에 대한 확장성을 확보한다.
• 학습된 구조의 정확도를 진짜 구조와 비교하기 위해 구조적 허밍 거리를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 다수의 관련이 있지만 비동질적인 데이터 세트에서 단일 베이지안 네트워크 구조를 학습할 수 있는 베이지안 점수를 설계할 수 있는가?
• RQ2 데이터가 비동질적일 경우 BHD 점수는 BDeu에 비해 재구성 정확도에서 어떻게 다른가?
• RQ3 다수의 데이터 세트가 존재할 때 BHD 점수는 BDeu에 비해 더 희박하고 더 해석 가능한 네트워크를 생성하는가?
• RQ4 계층적 모델링 접근은 데이터 세트 간의 정보 융합을 통해 얼마나 네트워크 구조 학습을 향상시키는가?
• RQ5 BHD 점수는 동질적인 데이터 세트 설정에서도 높은 정확도를 유지하면서 비동질성에 대해 강건한가?

주요 결과

• BHD 점수는 다수의 관련이 있지만 비동질적인 데이터 세트를 포함할 경우, 구조적 허밍 거리 측면에서 BDeu 점수에 비해 뚜렷이 뛰어난 성능을 보인다.
• 데이터가 동질적인 경우 BHD 점수는 BDeu와 유사한 정확도를 유지하여 다양한 데이터 유형에 대한 강건성을 입증한다.
• BHD로 학습된 네트워크는 BDeu로 학습된 네트워크보다 더 희박한 편이며, 이는 잘못된 양성 화살표의 수가 적다는 것을 의미한다.
• 잘못된 양성 화살표의 감소는 해석 가능성 향상에 기여하며, 이는 복잡하고 비동질적인 원천을 가진 실생활 데이터에 특히 적합함을 시사한다.
• 변분 근사는 BHD 점수의 효율적 계산을 가능하게 하여, 다수의 데이터 세트에 대한 확장성 지원에 기여한다.
• 계층적 사전분포는 데이터 세트 간의 정보 공유와 데이터 고유의 구조적 특성 유지 사이의 균형을 효과적으로 달성한다.