[논문 리뷰] Improving Bayesian Network Structure Learning in the Presence of Measurement Error

Yang Liu, Anthony C. Constantinou외 1명|arXiv (Cornell University)|2020. 11. 19.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 8

한 줄 요약

이 논문은 측정 오차로 인해 발생하는 잘못된 양방향 간선을 제거하기 위해 점수 기반 보정 알고리즘인 Spurious Edge Detection (SED)을 제안한다. EM 알고리즘과 BIC 점수를 적용하여 잡음이 있는 데이터에서 잡음이 없는 부모 변수를 추정하고, 잘못된 간선을 탐지 및 제거함으로써, 다양한 합성 측정 오차를 가진 데이터셋에서 네 가지 기존의 구조 학습 알고리즘의 그래픽스 점수를 향상시킨다.

ABSTRACT

Structure learning algorithms that learn the graph of a Bayesian network from observational data often do so by assuming the data correctly reflect the true distribution of the variables. However, this assumption does not hold in the presence of measurement error, which can lead to spurious edges. This is one of the reasons why the synthetic performance of these algorithms often overestimates real-world performance. This paper describes an algorithm that can be added as an additional learning phase at the end of any structure learning algorithm, and serves as a correction learning phase that removes potential false positive edges. The results show that the proposed correction algorithm successfully improves the graphical score of four well-established structure learning algorithms spanning different classes of learning in the presence of measurement error.

연구 동기 및 목표

• 관측 데이터의 측정 오차로 인해 발생하는 베이지안 네트워크 구조 학습에서의 잘못된 간선 문제를 해결한다.
• 노이즈가 있는 변수에 의해 유도되는 잘못된 양방향 간선을 보정함으로써, 구조 학습 알고리즘의 신뢰성을 향상시킨다.
• 기존의 어떤 구조 학습 알고리즘과도 호환되는 후처리 보정 단계를 개발한다.
• 다양한 수준의 측정 오차 하에서 보정 방법의 효과성을 평가한다.
• 측정 오차가 존재하는 상황에서 제안된 방법이 그래픽스 점수 성능을 향상시켜 합성 성능과 실제 성능 사이의 격차를 줄인다.

제안 방법

• 각 노이즈가 있는 변수가 관측되지 않는 오차 없는 부모 변수의 자식임을 가정하여 측정 오차를 모델링한다.
• 부족한 노이즈가 있는 데이터에서 은닉 변수(오차 없는 버전)를 포함한 베이지안 네트워크의 파라미터를 추정하기 위해 EM 알고리즘을 사용한다.
• EM 알고리즘의 수렴한 로그우도를 기반으로 은닉 변수를 고려한 재구성된 그래프의 BIC 점수를 계산한다.
• 점수 기반 제거 전략을 적용한다: 오차 없는 부모 구조를 포함한 모델에서 BIC 점수를 감소시키는 간선을 제거한다.
• 보정 단계를 기존의 어떤 구조 학습 알고리즘 출력에도 적용 가능한 후처리 단계로 간주한다.
• CPDAG의 경우, 마르코프 동치 클래스에서 대표적인 DAG를 샘플링하고, 전체 구조의 BIC 점수를 계산하여 평가한다.

실험 결과

연구 질문

• RQ1 측정 오차는 표준 베이지안 네트워크 구조 학습 알고리즘의 성능을 어느 정도 악화시키는가?
• RQ2 후처리 보정 단계는 측정 오차로 인한 잘못된 양방향 간선을 효과적으로 식별하고 제거할 수 있는가?
• RQ3 제안된 SED 알고리즘은 측정 오차 하에서 다양한 구조 학습 알고리즘의 그래픽스 점수를 어떻게 향상시키는가?
• RQ4 이 보정 방법은 다양한 수준과 유형의 측정 오차에서 성능을 유지하거나 향상시키는가?
• RQ5 SED 방법은 기존의 어떤 구조 학습 알고리즘에도 즉시 적용 가능한 보편적인 플러그인 보정 방법인가?

주요 결과

• SED 보정 알고리즘은 측정 오차 하에서 네 가지 잘 알려진 구조 학습 알고리즘—PC, GES, ILP, MMHC—의 그래픽스 점수를 성공적으로 향상시켰다.
• 여러 데이터셋과 다양한 수준의 측정 오차에서 일관된 향상이 나타나, 강건성을 입증했다.
• EM으로 추정한 은닉 변수를 포함한 모델에서 BIC 점수를 활용함으로써 잘못된 양방향 간선을 효과적으로 감소시켰다.
• 보정 단계는 후처리 단계로서 보편적으로 적용 가능하며, 원래 학습 알고리즘의 수정이 필요 없다.
• 결과적으로 합성 성능 벤치마크는 측정 오차를 고려하지 않아 실제 성능을 과대평가하는 경향이 있으며, SED는 이를 보정함으로써 이를 검증했다.
• 노이즈가 있는 변수가 관측되지 않는 오차 없는 부모 변수를 조건으로 하여 다른 변수들과 조건부 독립적이라는 가정을 검증함으로써 모델의 정확도를 향상시켰다.