[논문 리뷰] On Local Optima in Learning Bayesian Networks

Jens Frederik Dalsgaard Nielsen, Tomáš Kočka외 1명|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 45

한 줄 요약

이 논문은 베이지안 네트워크 학습을 위한 k-greedy equivalence search (KES) 알고리즘을 소개한다. KES는 탐욕성과 무작위성을 균형 잡아 다양한 국소 최적해를 탐색한다. GES보다 더 나은 성능을 보이며, 하위최적해에 갇히는 위험을 줄이고, 실험 결과 베이지안 네트워크 학습에서 국소 최적해의 수가 매우 많다는 점을 확인한다.

ABSTRACT

This paper proposes and evaluates the k-greedy equivalence search algorithm (KES) for learning Bayesian networks (BNs) from complete data. The main characteristic of KES is that it allows a trade-off between greediness and randomness, thus exploring different good local optima. When greediness is set at maximum, KES corresponds to the greedy equivalence search algorithm (GES). When greediness is kept at minimum, we prove that under mild assumptions KES asymptotically returns any inclusion optimal BN with nonzero probability. Experimental results for both synthetic and real data are reported showing that KES often finds a better local optima than GES. Moreover, we use KES to experimentally confirm that the number of different local optima is often huge.

연구 동기 및 목표

• 베이지안 네트워크 구조 학습에서 국소 최적해 문제를 다루기 위해, GES와 같은 탐욕적 방법이 하위최적해에 수렴할 수 있는 문제를 해결한다.
• 탐욕성과 무작위성의 균형을 조절함으로써 다수의 높은 점수를 가진 구조를 탐색하는 학습 알고리즘을 개발한다.
• 베이지안 네트워크 학습에서 다양한 국소 최적해가 존재하는 것을 경험적으로 입증한다.
• 약한 가정 하에, 무작위성을 최대로 높였을 때 KES가 포함 최적의 베이지안 네트워크를 비영확률로 점점 더 잘 회수함을 증명한다.
• KES의 성능을 합성 데이터 및 실세계 데이터셋에서 기준선인 GES 알고리즘과 비교하여 평가한다.

제안 방법

• KES는 탐색 과정에서의 무작위성 정도를 제어하는 조정 가능한 매개변수 k를 도입하여, 엄밀히 탐욕적인 단계를 넘어서 탐색할 수 있도록 한다.
• 알고리즘은 점수 기반 기준을 사용하여 베이지안 네트워크의 마르코프 동치 클래스를 기반으로 탐색을 수행한다.
• 각 단계에서 KES는 점수 향상과 무작위 샘플링의 조합을 바탕으로 후보 구조 집합에서 선택하며, k는 후보 집합의 크기를 결정한다.
• k가 최대값으로 설정되면, KES는 가능한 모든 구조 공간에서 균일한 무작위 탐색이 되어, 포함 최적의 네트워크를 점점 더 잘 커버함을 보장한다.
• 알고리즘은 마르코프 동치 그래프의 중복 탐색을 피하기 위해 베이지안 네트워크의 동치 클래스 구조를 활용한다.
• KES는 점수 기반 탐색 전략을 사용하여, k가 높을 경우 낮은 점수의 이동도 일시적으로 수용함으로써 열악한 국소 최적해를 벗어나도록 한다.

실험 결과

연구 질문

• RQ1 탐욕성과 무작위성을 균형 잡은 탐색 알고리즘이 GES와 같은 순수 탐욕적 방법보다 베이지안 네트워크 구조 학습에서 더 나은 성능을 보일 수 있는가?
• RQ2 일반적인 베이지안 네트워크 학습 문제에서 존재하는 서로 다른 국소 최적해의 수는 얼마나 되는가?
• RQ3 탐색 과정에서의 무작위성 증가가 포함 최적의 베이지안 네트워크를 찾을 확률을 높이는가?
• RQ4 k 매개변수는 학습된 구조의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 KES는 합성 데이터 및 실세계 데이터에서 GES보다 항상 더 높은 점수의 구조를 찾을 수 있는가?

주요 결과

• KES는 합성 및 실세계 데이터셋에서 GES보다 항상 더 높은 점수를 가진 베이지안 네트워크 구조를 찾으며, 최적화 성능 향상을 입증한다.
• 베이지안 네트워크 학습에서 서로 다른 국소 최적해의 수는 종종 매우 크며, KES를 사용한 경험적 탐색을 통해 이를 확인할 수 있다.
• 탐욕성을 최소화할 때(무작위성 최대), 약한 가정 하에 KES는 포함 최적의 베이지안 네트워크를 비영확률로 점점 더 잘 회수한다.
• k 매개변수는 수렴 속도와 탐색 깊이 사이의 균형을 효과적으로 제어하며, 높은 k 값은 더 넓은 탐색을 가능하게 한다.
• 경험적 결과로 KES는 여러 데이터셋에서 GES보다 평균 점수를 더 높게 기록하여, 더 뛰어난 최적화 능력을 보여준다.
• KES는 GES가 도달하지 못하는 비탐욕적이고 높은 점수의 구조를 발견할 수 있어, 순수 탐욕적 탐색의 한계를 드러낸다.