[논문 리뷰] Learning Discrete Bayesian Networks from Continuous Data

Yi‐Chun Chen, Tim A. Wheeler외 1명|arXiv (Cornell University)|2015. 12. 08.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 9

한 줄 요약

이 논문은 연속 데이터로부터 이산 베이지안 네트워크를 학습하기 위한 원리적인 베이지안 이산화 방법을 제안한다. 이 방법은 기존의 최소 기술 길이(MDL) 방법의 삼차 복잡도를 개선한 2차 시간 복잡도를 가지는 동적 프로그래밍 접근법을 사용한다. 이 방법은 네트워크 구조와 최적의 이산화 임계값을 동시에 학습하여 Auto MPG 및 Iris와 같은 벤치마크 데이터셋에서 우수한 가능도와 정확도를 달성한다. 특히 근사치 방법이 실패하는 구조 인식 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

Learning Bayesian networks from raw data can help provide insights into the relationships between variables. While real data often contains a mixture of discrete and continuous-valued variables, many Bayesian network structure learning algorithms assume all random variables are discrete. Thus, continuous variables are often discretized when learning a Bayesian network. However, the choice of discretization policy has significant impact on the accuracy, speed, and interpretability of the resulting models. This paper introduces a principled Bayesian discretization method for continuous variables in Bayesian networks with quadratic complexity instead of the cubic complexity of other standard techniques. Empirical demonstrations show that the proposed method is superior to the established minimum description length algorithm. In addition, this paper shows how to incorporate existing methods into the structure learning process to discretize all continuous variables and simultaneously learn Bayesian network structures.

연구 동기 및 목표

• 혼합 이산-연속 데이터에서 이산 베이지안 네트워크를 학습하는 데 있어, 연속 변수가 하위 최적 정책으로 이산화되는 문제를 해결하기 위해.
• 구조 인식 이산화 방법을 개발하여 네트워크 구조와 이산화 임계값을 별도로 처리하는 대신 함께 최적화하기 위해.
• 기존의 MDL 기반 이산화 방법의 삼차 시간 복잡도를 감소시키면서도 모델 가능도와 예측 정확도를 향상시키기 위해.
• 이산화 과정에서 변수 간 의존성을 통합할 경우, 근사치 기반 또는 히وري스틱 방법보다 더 나은 결합 확률 표현을 달성할 수 있음을 입증하기 위해.

제안 방법

• 이산화 경계에 대한 사전 분포를 사용하고, O(n²) 복잡도의 동적 프로그래밍을 통해 후행 확률을 계산하는 베이지안 이산화 프레임워크를 제안한다. 여기서 n은 데이터 포인트의 수이다.
• 이산화를 네트워크 구조 학습 파ip라인에 통합하기 위해 교차 최적화 루프를 사용한다: 먼저 이산 데이터를 사용해 네트워크 구조를 학습하고, 그 다음 현재 구조에 기반해 이산화 임계값을 개선한다.
• 이산화 간선에 비정보성 사전을 사용하고, 네트워크 내 조건부 의존성을 고려한 가능도 모델을 사용해 각 후보 분할의 후행 확률을 계산한다.
• 모든 가능한 이산화 경계에 대해 효율적으로 탐색하기 위해 동적 프로그래밍을 적용하여 결합 모델의 기술 길이를 최소화한다.
• 네트워크 구조와 이산화 정책의 공간을 동시에 탐색하기 위해 역전이 마르코프 체인 몬테 카를로(RJ-MCMC) 또는 탐욕적 탐색을 사용한다.
• 합성 및 실제 세계 데이터셋에서 방법을 검증하고, 로그 가능도와 예측 정확도를 기준으로 MDL 및 근사치 이산화(예: 베이지안 블록)와 비교한다.

실험 결과

연구 질문

• RQ1 네트워크 구조 내 조건부 의존성을 고려한 베이지안 이산화 방법이 가능도와 정확도 측면에서 근사치 기반 또는 MDL 기반 이산화보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 구조와 이산화를 동시에 학습하는 접근법이 순차적 또는 반복적 방법보다 더 나은 성능을 내는가?
• RQ3 최적의 이산화 복잡도를 삼차 시간에서 이차 시간으로 감소시킬 수 있는가, 동시에 모델 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 구조 인식 설정에서 제안된 방법이 진정한 기저 조건부 분포를 MDL 및 근사치 방법보다 더 잘 포착하는가?

주요 결과

• 제안된 베이지안 이산화 방법은 Auto MPG 데이터셋에서 MDL보다 유의미하게 높은 로그 가능도(−25.94 대 −26.83)를 달성하여 더 나은 결합 모델 적합도를 보였다.
• 나이브 베이즈 구조를 가진 Iris 데이터셋에서, 베이지안 방법과 MDL은 동일한 이산화 경계와 94%의 예측 정확도를 기록했지만, 베이지안 방법은 더 높은 평균 로그 가능도(−2.25 대 −2.50)를 달성했다.
• 조건부 균일 분포를 가진 합성 A→B 네트워크에서, 베이지안 방법은 참값인 1.0에서 이산화 경계를 정확히 식별했고, Bayesian Blocks와 같은 근사치 방법은 실패하여 더 나쁜 로그 가능도(−0.69)를 기록했다.
• 효율적인 동적 프로그래밍 공식을 사용함으로써 이산화 복잡도를 O(n³)에서 O(n²)로 감소시켜 대규모 데이터셋에서 더 빠른 계산이 가능하게 되었다.
• 구조와 이산화를 동시에 학습함으로써 변수 간 의존성이 중요할 경우 더 정확하고 해석 가능한 모델을 도출할 수 있었다.