[논문 리뷰] Computational Complexity Reduction for BN2O Networks Using Similarity of States

Alexander V. Kozlov, Jaswinder Singh|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 3

한 줄 요약

이 논문은 BN2O 네트워크에서 계산 복잡도를 줄이기 위해 상태 유사성을 활용하는 방법을 제안한다. 여기서 상태 간의 우도비는 다른 노드의 할당에 관계없이 일정하다. 유사한 상태를 식별하고 압축함으로써, 이 방법은 최대 90%의 계산 시간 감소를 이끌어내며 오직 5% 이내의 최대 오차를 유지한다. 이로 인해 상태 수가 지수적으로 많은 네트워크에서도 다항식 시간 내에 추론이 가능해진다.

ABSTRACT

Although probabilistic inference in a general Bayesian belief network is an NP-hard problem, computation time for inference can be reduced in most practical cases by exploiting domain knowledge and by making approximations in the knowledge representation. In this paper we introduce the property of similarity of states and a new method for approximate knowledge representation and inference which is based on this property. We define two or more states of a node to be similar when the ratio of their probabilities, the likelihood ratio, does not depend on the instantiations of the other nodes in the network. We show that the similarity of states exposes redundancies in the joint probability distribution which can be exploited to reduce the computation time of probabilistic inference in networks with multiple similar states, and that the computational complexity in the networks with exponentially many similar states might be polynomial. We demonstrate our ideas on the example of a BN2O network -- a two layer network often used in diagnostic problems -- by reducing it to a very close network with multiple similar states. We show that the answers to practical queries converge very fast to the answers obtained with the original network. The maximum error is as low as 5% for models that require only 10% of the computation time needed by the original BN2O model.

연구 동기 및 목표

• 진단 응용에서 널리 사용되는 BN2O 아키텍처를 포함한 베이지안 네트워크에서의 확률적 추론의 높은 계산 비용을 해결하기 위해.
• 네트워크 노드의 상태 유사성에서 기인하는 공동 확률 분포의 중복을 식별하고 활용하기 위해.
• 실행 시간을 극적으로 줄이면서도 높은 정확도를 유지하는 근사 추론 방법을 개발하기 위해.
• 상태 수가 지수적으로 많은 네트워크에서도 다항식 시간 복잡도의 추론을 달성할 수 있음을 보여주기 위해.
• BN2O 네트워크에서 제안된 방법을 검증하여, 원본 모델 결과에 매우 빠르게 수렴하고 최소한의 오차를 유지함을 보여주기 위해.

제안 방법

• 네트워크의 다른 노드의 모든 할당에 대해 두 개 이상의 노드 상태 간의 우도비가 일정함을 정의함으로써 상태 유사성을 정의한다.
• 다른 노드의 증거가 있을 때도 확률 비율이 일정한 BN2O 네트워크 내의 유사 상태 그룹을 식별한다.
• 유사한 상태를 하나의 대표 상태로 압축하여 네트워크 상태 공간을 줄이는 압축된 네트워크 표현을 구성한다.
• 유사성 특성을 활용하여 중복 계산을 방지함으로써, 압축된 네트워크에서 확률적 추론을 수행한다.
• 유사 상태 기반의 압축 모델을 사용하여 실용적인 진단 쿼리를 해결하며, 오차는 원본 네트워크 기준 상한선을 유지한다.
• 원본 네트워크와 압축된 네트워크 간의 쿼리 결과와 계산 시간을 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 BN2O 네트워크에서 상태 유사성을 형식적으로 정의하고 계산 복잡도 감소에 활용할 수 있는가?
• RQ2 상태 유사성은 추론 과정에서 요구되는 계산 수를 어느 정도 줄일 수 있는가?
• RQ3 유사 상태 기반의 압축 네트워크에서 도출된 추론 결과는 원본 네트워크와 비교해 얼마나 정확한가?
• RQ4 제안된 방법에서 계산 효율성과 근사 오차 사이의 상호 상충 관계는 어떠한가?
• RQ5 상태 수가 지수적으로 많은 네트워크도 이 방법을 통해 다항식 시간 복잡도의 추론을 달성할 수 있는가?

주요 결과

• 이 방법은 원본 BN2O 모델 대비 계산 시간을 단 10%로 줄였으며, 최대 오차는 오직 5%에 불과하다.
• 유사 상태를 포함한 압축된 네트워크는 원본 네트워크가 지수적 상태 수를 가질지라도 다항식 시간 복잡도의 추론을 달성한다.
• 압축된 네트워크에서 계산된 실용적 쿼리는 원본 네트워크 결과에 매우 신속하게 수렴하여 뛰어난 근사 정밀도를 보여준다.
• 유사 상태 간의 우도비는 모든 증거 구성에서 일정하게 유지되며, 이는 방법의 이론적 기반을 확인한다.
• 이러한 방법은 일반적으로 진단 추론에 사용되며 상태 유사성으로 인해 높은 중복성을 보이는 BN2O 네트워크에 특히 효과적이다.
• 구조적 압축을 통해 비가역 문제를 다항식 문제로 전환함으로써, 이 방법은 대규모 BN2O 네트워크에서의 확장 가능한 추론을 가능하게 한다.