[논문 리뷰] Closed-Form Learning of Markov Networks from Dependency Networks

Daniel Lowd|arXiv (Cornell University)|2012. 10. 16.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 6

한 줄 요약

이 논문은 일관성 있는 경우 빠르고 정확한 구조 학습을 가능하게 하고, 일관성이 없을 경우 개선된 근사치를 제공하는, 종속성 네트워크(DNs)를 마르코프 네트워크(MNs)로 변환하는 폐쇄형 방법을 제안한다. 이 방법은 반복 최적화를 필요로 하지 않고 DNs의 조건부 분포를 활용하여 MNs를 구성함으로써 기존 방법에 비해 수십만 배 빠른 속도를 달성하면서도 12개의 벤치마크 데이터셋에서 정확도를 유지하거나 향상시킨다.

ABSTRACT

Markov networks (MNs) are a powerful way to compactly represent a joint probability distribution, but most MN structure learning methods are very slow, due to the high cost of evaluating candidates structures. Dependency networks (DNs) represent a probability distribution as a set of conditional probability distributions. DNs are very fast to learn, but the conditional distributions may be inconsistent with each other and few inference algorithms support DNs. In this paper, we present a closed-form method for converting a DN into an MN, allowing us to enjoy both the efficiency of DN learning and the convenience of the MN representation. When the DN is consistent, this conversion is exact. For inconsistent DNs, we present averaging methods that significantly improve the approximation. In experiments on 12 standard datasets, our methods are orders of magnitude faster than and often more accurate than combining conditional distributions using weight learning.

연구 동기 및 목표

• 실제 적용에서 확장성에 한계를 가진 마르코프 네트워크(MN)의 구조 학습에 대한 높은 계산 비용을 해결하기 위해.
• 조건부 분포가 상충될 수 있는 종속성 네트워크(DNs)의 일관성 문제를 해결하여 열악한 추론을 방지하기 위해.
• DN 학습의 빠름과 MN의 추론 호환성의 이점을 결합하는 방법을 개발하기 위해.
• 가능한 한 확률 일관성을 유지하고, 그렇지 않을 경우 근사치를 향상시키는 종속성 네트워크에서 마르코프 네트워크로의 폐쇄형 변환을 제공하기 위해.

제안 방법

• DN을 마르코프 네트워크로 변환하기 위한 폐쇄형 해를 유도하기 위해 조건부 분포를 유통합 확률 분포로 융합한다.
• 불일치하는 DNs를 다루기 위해 가중 평균 방식을 사용하여 DN의 조건부 분포와 결과 마르코프 네트워크 간의 발산을 최소화한다.
• 반복 최적화를 피하기 위해 마르코프 네트워크의 잠재 함수를 DN의 조건부 확률 함수의 함수로 설정한다.
• 결과로 얻어진 마르코프 네트워크가 유효한 확률 분포를 나타내도록 정규화 절차를 적용한다.
• DN이 일관된 경우 정확한 변환, 일관성이 없는 경우 근사적 변환을 지원하며, 조건부 분포의 볼록 조합을 사용한다.
• 변환은 계산적으로 효율적이며, 구조 탐색이나 점수 평가 없이 행렬 연산만으로 수행된다.

실험 결과

연구 질문

• RQ1 반복 학습 없이 종속성 네트워크를 폐쇄형으로 마르코프 네트워크로 변환할 수 있는가?
• RQ2 DN 내에서 불일치하는 조건부 분포는 어떻게 다루어져야 하며, 유효하고 유용한 마르코프 네트워크를 형성할 수 있는가?
• RQ3 제안된 방법은 가중치 학습이나 구조 탐색을 사용하는 기존 마르코프 네트워크에 비해 속도와 정확도에서 얼마나 빠른가?
• RQ4 일관성이 있는 경우 폐쇄형 변환은 원래 종속성 네트워크의 확률 의미를 유지하는가?
• RQ5 이 방법은 복잡한 의존성을 가진 실제 데이터셋에서 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• 제안된 방법은 12개의 표준 데이터셋에서 기존의 마르코프 네트워크 구조 학습 방법에 비해 수십만 배 빠른 학습 속도를 달성한다.
• DN이 일관성이 있을 경우 변환 과정에서 근사 오차 없이 정확한 마르코프 네트워크 표현을 생성한다.
• 불일치하는 DN에 대해서는 평균 기반 방법이 표준 가중치 학습 기법보다 훨씬 우수한 근사 품질을 제공한다.
• 반복 최적화를 피하고도 가중치 학습보다 높은 예측 정확도를 달성하는 경우가 많다.
• 폐쇄형 접근 방식은 표준 마르코프 네트워크 추론 알고리즘과 호환되어 효율적인 확률 추론을 가능하게 한다.
• 실험 결과에 따르면, 이 방법은 성능 기준에서 기준선을 뛰어넘으며, 속도와 정확도 면에서 모두 우수한 확장성과 성능을 보인다.