[논문 리뷰] Local Structure Discovery in Bayesian Networks

Teppo Niinimäki, Pekka Parviainen|arXiv (Cornell University)|2012. 10. 16.

Bayesian Modeling and Causal Inference참고 문헌 2인용 수 25

한 줄 요약

이 논문은 전체 네트워크가 아닌 목표 변수 주변의 구조를 발견하는 데 중점을 두는 점수 기반 국소 구조 학습 알고리즘인 SLL을 소개한다. 이는 대량 표본 근처에서 이론적으로 타당하며, HITON과 같은 제약 기반 방법과 비교해도 경쟁력 있는 성능을 보이며, 국소 결과의 집계를 통해 확장 가능한 전역 구조 학습을 가능하게 한다.

ABSTRACT

Learning a Bayesian network structure from data is an NP-hard problem and thus exact algorithms are feasible only for small data sets. Therefore, network structures for larger networks are usually learned with various heuristics. Another approach to scaling up the structure learning is local learning. In local learning, the modeler has one or more target variables that are of special interest; he wants to learn the structure near the target variables and is not interested in the rest of the variables. In this paper, we present a score-based local learning algorithm called SLL. We conjecture that our algorithm is theoretically sound in the sense that it is optimal in the limit of large sample size. Empirical results suggest that SLL is competitive when compared to the constraint-based HITON algorithm. We also study the prospects of constructing the network structure for the whole node set based on local results by presenting two algorithms and comparing them to several heuristics.

연구 동기 및 목표

• 전역 베이지안 네트워크 구조 학습의 계산 비용 문제를 목표 변수 근처의 국소 구조에 집중하여 해결하고자 한다.
• 이론적으로 타당하며, 대량 표본 근처에서 최적화되는 점수 기반 국소 구조 학습 방법을 개발하고자 한다.
• 국소 학습 결과로부터 전역 네트워크 구조를 재구성하는 것이 가능한지 탐색하고자 한다.
• 국소 학습의 성능을 기존 히وري스틱 기반 및 제약 기반 방법과 비교하고자 한다.

제안 방법

• 목표 변수 주변의 최적 국소 구조를 점수 측정 기준을 사용해 탐색하는 점수 기반 국소 학습 알고리즘인 SLL을 제안한다.
• 목표 노드 주변의 마르코프 블랭킷과 인접한 구조를 탐색하기 위해 탐욕적 탐색 전략을 사용한다.
• 계산을 목표 변수의 국소 이웃에 집중하기 위해 점수 분해 기법을 적용한다.
• 후진 제거 전략을 사용하여 후보 구조를 정밀하게 조정하고 과적합을 방지한다.
• 합의 기반과 반복 개선 기반의 두 가지 집계 알고리즘을 사용해 다수의 국소 구조를 하나의 전역 네트워크로 통합한다.
• 후보 구조 평가에 BIC 또는 BDeu 점수를 사용하여 표준 베이지안 네트워크 학습 원칙과 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 SLL은 대량 표본 크기의 극한에서 국소 구조 학습에 대해 이론적으로 최적화되는가?
• RQ2 정확성과 효율성 측면에서 SLL은 HITON과 같은 제약 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 국소 구조 학습 결과로부터 전역 네트워크 구조를 효과적으로 재구성할 수 있는가?
• RQ4 국소 구조를 일관된 전역 네트워크로 통합하는 데 가장 효과적인 집계 전략은 무엇인가?

주요 결과

• SLL은 벤치마크 데이터셋에서 제약 기반 HITON 알고리즘과 비교해 구조적 정확성 측면에서 경쟁적인 성능을 보였다.
• 알고리즘은 대량 표본 근처에서 점수 측정 기준 하에 이론적으로 타당하며 최적임을 입증했다.
• 합의 기반 방법을 사용한 국소 구조 집계는 표준 히وري스틱 기반 결과와 유사한 전역 네트워크 구조를 생성했다.
• 반복 개선 기반 집계 접근법은 특히 고차원 설정에서 정확도를 더욱 향상시켰다.
• 실험 결과는 국소 구조에 집중함으로써 계산 비용을 크게 줄일 수 있으며, 예측 성능는 유지할 수 있음을 확인했다.