[논문 리뷰] An Efficient Search Strategy for Aggregation and Discretization of Attributes of Bayesian Networks Using Minimum Description Length

Corcoran, Jem, Tran, Daniel외 1명|arXiv (Cornell University)|2014. 04. 03.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 5

한 줄 요약

이 논문은 최소 기술 길이(MDL) 원리를 사용하여 베이지안 네트워크에서 연속 변수를 이산화하기 위한 효율적인 상향식 검색 전략을 제안한다. 이로 인해 계산 비용이 크게 감소한다. 점진적인 점수 비교를 통해 잠재적인 이산화 방법의 소수의 부분집합만 평가함으로써, 최적에 가까운 결과를 도출하면서도 구조적 정보를 유지한다. 이는 프리드먼과 골드슈미트의 MDL 기반 이산화 방법을 실용적으로 적용할 수 있게 한다.

ABSTRACT

Bayesian networks are convenient graphical expressions for high dimensional probability distributions representing complex relationships between a large number of random variables. They have been employed extensively in areas such as bioinformatics, artificial intelligence, diagnosis, and risk management. The recovery of the structure of a network from data is of prime importance for the purposes of modeling, analysis, and prediction. Most recovery algorithms in the literature assume either discrete of continuous but Gaussian data. For general continuous data, discretization is usually employed but often destroys the very structure one is out to recover. Friedman and Goldszmidt suggest an approach based on the minimum description length principle that chooses a discretization which preserves the information in the original data set, however it is one which is difficult, if not impossible, to implement for even moderately sized networks. In this paper we provide an extremely efficient search strategy which allows one to use the Friedman and Goldszmidt discretization in practice.

연구 동기 및 목표

• 중간 크기의 베이지안 네트워크에서 프리드먼과 골드슈미트의 MDL 기반 이산화 방법이 계산적으로 비가능한 문제를 해결하기 위해.
• 모든 가능한 분할을 완전히 평가하지 않고도 고품질의 이산화를 찾는 실용적인 검색 전략을 개발하기 위해.
• 이산화 과정에서 원래 데이터의 조건부 인적 구조를 유지하여 정보 손실을 방지하기 위해.
• 실제의 연속 데이터를 포함한 실생활 응용에서 MDL 기반 이산화를 사용할 수 있도록 하기 위해.

제안 방법

• 각 연속 변수에 대해 완전히 이산화된 상태에서 시작하는 상향식 검색 전략을 제안한다. 이후 단계적으로 임계값을 제거한다.
• 각 임계값 제거가 미치는 영향을 평가하기 위해 국소 기술 길이(DLlocal)를 점수 함수로 사용한다.
• 모든 임계값이 포함된 완전한 이산화의 DLlocal 점수와 하나의 임계값만 제거한 후의 점수를 비교하여 정보가 없는 분할을 식별한다.
• 다른 노드들이 이미 이산화되어 있다고 가정하고, 노드별로 순차적으로 검색 전략을 적용하며 순환적으로 반복한다.
• 모델 복잡도와 데이터 적합도의 균형을 위해 MDL 원리를 활용한다. 이는 기술 길이를 최소화하는 이산화를 선호한다.
• 오직 정보 내용을 상당히 감소시키는 임계값만 유지되어야 한다는 가정에 기반한다.

실험 결과

연구 질문

• RQ1 연속 베이지안 네트워크 변수에 대해 최적의 MDL 기반 이산화를 근사할 수 있는 계산적으로 효율적인 검색 전략을 개발할 수 있는가?
• RQ2 제안된 상향식 접근 방식은 난이도 높은 이산화보다 원래 데이터의 조건부 인적 구조를 더 잘 유지하는가?
• RQ3 임계값 제거 시 MDL 점수가 안정을 유지하는 조건은 무엇인가? 이는 정보가 없는 분할을 나타낸다.
• RQ4 표본 변동성으로 인해 경험적 확률이 근사화될 경우에도, 메서드가 정확한 이산화를 신뢰성 있게 식별할 수 있는가?
• RQ5 정확도와 런타임 측면에서 빠른 검색 전략의 성능은 전체 열거 방식과 비교해 어떻게 되는가?

주요 결과

• 제안된 상향식 검색 전략은 2m1−1가지 가능한 분할 중에서 최적의 이산화를 식별하기 위해 단지 m1 − 1회의 비교만을 요구하여 계산 비용을 극적으로 감소시킨다.
• 정확한 이산화가 알려진 '폭발적' 데이터의 이상적인 경우, MDL 점수 기반 메커니즘이 정확한 구조를 성공적으로 복원한다.
• 실험 결과, 잘못된 임계값 제거(예: 1과 2 사이, 또는 5와 6 사이)는 상당히 다른 DLlocal 점수를 생성함을 보여, 이를 탐지할 수 있음을 시사한다.
• 정보가 없는 임계값—조건부 분포에 영향을 주지 않는 임계값—은 제거 시 점수 증가를 관찰함으로써 성공적으로 식별된다.
• 표본 노이즈가 존재하더라도, 메서드는 강력한 경험적 성능를 보이며, 잘못된 제거 사례는 DLlocal 점수에서 두드러지게 나타난다.
• 생성 그래프가 완전히 알려져 있지 않더라도, 대상 노드가 적어도 하나의 다른 노드와 연결되어 있다면, 이 방법은 여전히 효과가 있다.