[논문 리뷰] Markov Blanket Discovery using Minimum Message Length

Yang Li, Kevin B. Korb외 1명|arXiv (Cornell University)|2021. 07. 16.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 대규모 데이터셋에서의 인과적 발견을 향상시키기 위해 최소 메시지 길이(MML) 스코어링을 사용하는 세 가지 새로운 마르코프 블랭킷(MB) 탐색 방법을 제안한다. 최고의 MML 기반 방법은 정확도와 강건성에서 우수한 성능을 보이며, 특히 고차원 및 희박한 네트워크에서 기존의 특징 선택 및 MB 탐색 기법들을 능가하는 성능을 보였다. 다양한 벤치마크 네트워크에서의 실험 평가를 통해 경쟁적인 성능을 입증하였다.

ABSTRACT

Causal discovery automates the learning of causal Bayesian networks from data and has been of active interest from their beginning. With the sourcing of large data sets off the internet, interest in scaling up to very large data sets has grown. One approach to this is to parallelize search using Markov Blanket (MB) discovery as a first step, followed by a process of combining MBs in a global causal model. We develop and explore three new methods of MB discovery using Minimum Message Length (MML) and compare them empirically to the best existing methods, whether developed specifically as MB discovery or as feature selection. Our best MML method is consistently competitive and has some advantageous features.

연구 동기 및 목표

• 로컬에서 글로벌(LGL) 학습 프레임워크의 첫 번째 단계로 로컬 마르코프 블랭킷(MB) 탐색을 활용하여 빅데이터에서의 인과적 발견의 확장성 문제를 해결하고자 한다.
• 고차원 데이터셋에 대해 정확하고 효율적인 MML 기반 알고리즘을 개발하고 평가하고자 한다.
• 다양한 벤치마크 네트워크에서 최신 기술과의 비교를 통해 제안된 MML 방법의 실증적 성능을 평가하고자 한다.
• 다양한 표본 크기와 네트워크 구조에서 계산 효율성, 정확도, 강건성 간의 상호 상충 관계를 탐구하고자 한다.

제안 방법

• 논문은 목표 변수와 잠재적인 마르코프 블랭킷 변수 간의 조건부 인력성 구조를 표현하고 학습하기 위한 세 가지 MML 기반 모델을 도입한다.
• 각 모델은 모델 복잡도와 데이터 적합도를 균형 잡기 위해 최소 메시지 길이(MML)를 사용하며, 데이터와 모델을 모두 인코딩하는 데 필요한 총 메시지 길이를 최소화한다.
• 첫 번째 방법은 전체 MB 구조에 대해 전체 MML 스코어를 사용하지만, 두 번째 및 세 번째 방법은 부모-자식 및 배우자 관계를 포함한 변수의 부분 집합에 MML을 적용하여 효율성을 향상시킨다.
• 알고리즘은 MML 스코어 향상을 기반으로 후보 MB에서 변수를 반복적으로 추가하거나 제거하는 탐욕적 탐색 전략을 사용한다.
• 최종 구조의 일관성과 정확성을 보장하기 위해 발견된 MB에 대칭성 조건을 적용한다.
• 실증 평가에서는 편집 거리(edit distance)를 사용하여 발견된 MB를 기준 진실과 비교하며, 여러 데이터셋과 표본 크기에서 95% 신뢰구간을 보고한다.

실험 결과

연구 질문

• RQ1 기존의 제약 기반 및 메트릭 기반 MB 탐색 알고리즘과 비교해 MML 기반 MB 탐색 방법의 정확도와 효율성은 어떻게 되는가?
• RQ2 표본 크기가 다양한 네트워크 구조에서 MML 기반 MB 탐색의 성능에 어떤 영향을 미치는가?
• RQ3 MB 크기가 정확도에 미치는 영향은 무엇인가, 특히 희박 네트워크와 밀집 네트워크에서 어떻게 다를까?
• RQ4 완전 탐색 방법과 비교해 MML 기반 MB 탐색이 계산 복잡도를 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 최고의 MML 기반 방법은 일관되게 경쟁적인 성능을 보였으며, 5000개 표본을 가진 INSURANCE 네트워크에서 F1 스코어 0.98±0.01을 기록하여 다른 방법들보다 정확도에서 뛰어났다.
• ALARM 네트워크에서 MML 방법은 5000개 표본에서 F1 스코어 0.98±0.01을 달성하여 대규모 데이터셋에서 높은 강건성과 안정성을 입증했다.
• 5000개 표본을 가진 30-5-4-1 모델에서 MML 방법은 F1 스코어 0.98±0.01을 기록하여 고차원 조건에서 거의 완벽한 MB 복원 성능을 보였다.
• 희박한 네트워크인 HAILFINDER에서 MML 방법은 5000개 표본에서 F1 스코어 0.70±0.02를 기록하여 정보가 적은 환경에서도 베이스라인 방법들을 능가하는 성능을 보였다.
• 모든 데이터셋에서 높은 정밀도와 재현율을 유지하였으며, 표본 크기가 증가함에 따라 편집 거리가 크게 감소하여 확장성과 수렴성을 확인했다.
• 고차원 모델(예: 80-5-4-1)에서 MML 기반 접근법은 5000개 표본에서 F1 스코어 0.62±0.02를 기록하여 복잡하고 희박한 구조에서 다른 방법들보다 뛰어난 강건성을 확보했다.