[논문 리뷰] Large-Sample Learning of Bayesian Networks is NP-Hard

David Maxwell Chickering, Christopher Meek외 1명|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 154

한 줄 요약

이 논문은 큰 데이터셋에서 베이지안 네트워크를 학습하는 것이 일반 조건 하에서 NP-난이도임을 증명한다. 독립성, 추론, 정보 오라클에 접근할 수 있는 경우조차도 마찬가지다. 이 결과는 부모 노드 수가 제한된 이산 변수 베이지안 네트워크(k > 3)에 대해 성립하며, 큰 표본에서 일致한 점수 기준을 사용할 경우 최적의 구조를 찾는 것이 계산적으로 비가능함을 보여준다.

ABSTRACT

In this paper, we provide new complexity results for algorithms that learn discrete-variable Bayesian networks from data. Our results apply whenever the learning algorithm uses a scoring criterion that favors the simplest model able to represent the generative distribution exactly. Our results therefore hold whenever the learning algorithm uses a consistent scoring criterion and is applied to a sufficiently large dataset. We show that identifying high-scoring structures is hard, even when we are given an independence oracle, an inference oracle, and/or an information oracle. Our negative results also apply to the learning of discrete-variable Bayesian networks in which each node has at most k parents, for all k > 3.

연구 동기 및 목표

• 큰 데이터셋에서의 베이지안 네트워크 구조 학습의 계산 복잡도를 규명하는 것.
• 큰 표본 근처에서 일치하는 점수 기준이 학습 문제를 다룰 수 있는지 분석하는 것.
• 오라클(독립성, 추론, 정보)이 구조 학습의 가용성에 미치는 영향을 조사하는 것.
• 부모 수가 제한된 베이지안 네트워크(각 노드의 최대 부모 수가 k개, k > 3)로의 경계 결과 확장하는 것.

제안 방법

• 일致한 점수 기준 하에서 가장 높은 점수를 받는 베이지안 네트워크 구조를 식별하는 것으로 학습 문제를 수식화하는 것.
• 기존의 NP-난이도 문제로부터의 감소를 이용하여, 오라클에 접근할 수 있는 경우에도 여전히 구조 학습이 어려움을 증명하는 것.
• 큰 표본 근처에서 진정한 분포를 정확히 표현하는 가장 단순한 모델을 선호하는 경향이 발생하는 이유를 분석하는 것.
• 오라클이 학습 문제의 복잡도를 줄이지 못하며, NP-난이도가 유지됨을 보여주는 것.
• 부모 제약 조건을 고려하여 감소를 구성함으로써, k > 3인 제한된 진입 차수를 가진 네트워크로의 난이도 결과를 확장하는 것.

실험 결과

연구 질문

• RQ1 일치하는 점수 기준 하에서 큰 데이터셋에서의 베이지안 네트워크 구조 학습은 계산적으로 가용한가?
• RQ2 독립성 오라클에 접근하면 베이지안 네트워크 구조 학습의 복잡도가 감소하는가?
• RQ3 추론 또는 정보 오라클이 큰 표본에서의 베이지안 네트워크 학습을 가용하게 하는가?
• RQ4 노드당 최대 부모 수를 k > 3로 제한할 경우 NP-난이도 결과가 유지되는가?
• RQ5 일치하는 점수 기준의 단순성 편향이 효율적인 학습 알고리즘을 도출하지 못하는 조건은 무엇인가?

주요 결과

• 큰 데이터셋에서의 베이지안 네트워크 구조 학습은 일치하는 점수 기준을 사용하더라도 NP-난이도이다.
• 독립성 오라클, 추론 오라클, 정보 오라클을 제공받더라도 NP-난이도가 유지된다.
• 이 결과는 각 노드가 최대 k개의 부모를 가지는 이산 변수 베이지안 네트워크에 대해 k > 3일 때도 성립한다.
• 난이도의 근본 원인은 큰 표본 근처에서 진정한 분포를 정확히 표현하는 가장 단순한 모델이 최적의 구조가 되기 때문이다.
• 계산적 비가용성은 오라클에 접근할 수 있는 강력한 도구가 있더라도 학습 문제의 본질적 특성이다.
• 결과적으로 정확한 구조 학습은 표준 복잡도 가정 하에 다항 시간 내에 해결될 가능성이 없다.