[논문 리뷰] Reduction of Computational Complexity in Bayesian Networks through Removal of Weak Dependencies

Uffe Kjærulff|arXiv (Cornell University)|2013. 02. 27.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 15

한 줄 요약

이 논문은 베이지안 네트워크에서 계산 복잡도를 줄이기 위해 약한 의존성, 즉 인과성 그래프에서의 링크를 식별하고 제거하는 방법을 제안한다. 이러한 링크는 추론에 거의 기여하지 않으며, 제거함으로써 필인(fill-ins)과 모랄라이제이션 오버헤드가 감소하여 절연수 나무(junction tree) 복잡도가 크게 낮아진다. 실제 네트워크에서의 실험 결과, 정확도에 거의 영향을 주지 않으면서도 성능 향상이 뚜렷하게 나타났다.

ABSTRACT

The paper presents a method for reducing the computational complexity of Bayesian networks through identification and removal of weak dependencies (removal of links from the (moralized) independence graph). The removal of a small number of links may reduce the computational complexity dramatically, since several fill-ins and moral links may be rendered superfluous by the removal. The method is described in terms of impact on the independence graph, the junction tree, and the potential functions associated with these. An empirical evaluation of the method using large real-world networks demonstrates the applicability of the method. Further, the method, which has been implemented in Hugin, complements the approximation method suggested by Jensen & Andersen (1990).

연구 동기 및 목표

• 대규모 베이지안 네트워크에서 추론의 높은 계산 비용, 특히 절연수 알고리즘에서의 필인(fill-ins)과 모랄라이제이션(moralization)으로 인한 비용을 해결하기 위해.
• 확률적 추론에 거의 기여하지 않는 링크, 즉 인과성 그래프에서의 약한 조건부 의존성(weak conditional dependencies)을 식별하기 위해.
• 정확도 손실가 최소한이 되도록 네트워크 구조를 단순화할 수 있는 체계적인 방법을 개발하기 위해.
• 링크 제거가 절연수 복잡도와 계산 효율성에 미치는 영향을 실제 베이지안 네트워크에서 평가하기 위해.
• Jensen & Andersen (1990)의 방법과 같은 기존 근사 기법들과의 보완적 접근을 제공하기 위해, 확률적 근사가 아닌 구조적 단순화에 초점을 맞추기 위해.

제안 방법

• 베이지안 네트워크의 모랄라이제이션된 인과성 그래프를 분석하여 약한 조건부 의존성에 해당하는 링크를 식별한다.
• 상호정보량 또는 p-값과 같은 기준을 사용하여 조건부 독립성의 강도를 기반으로 약한 의존성을 식별하고 제거 대상으로 표시한다.
• 식별된 약한 링크를 모랄라이제이션된 그래프에서 제거함으로써 구조가 단순화되고 삼각화 과정에서의 필인 수가 감소한다.
• 단순화된 그래프에서 절연수를 재구성함으로써 클리크 크기와 잠재함수 크기가 감소한다.
• 단순화된 절연수를 사용하여 효율적인 추론을 수행하며, 잠재함수를 해당 방식으로 갱신한다.
• 임계값 기반의 자르기 전략을 사용하여 복잡도 감소와 정확도 유지 사이의 균형을 확보하여 후행 확률에 미치는 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 약한 의존성을 식별하고 정량화하여 정보 기반의 자르기(informed pruning)를 가능하게 할 수 있는가?
• RQ2 약한 의존성 제거가 결과로 얻어지는 절연수의 크기와 구조에 어떤 영향을 미치는가?
• RQ3 정확도를 떨어뜨리지 않고 링크 제거가 추론의 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ4 복잡한 구조를 가진 실제 베이지안 네트워크에서 이 방법은 얼마나 효과적인가?
• RQ5 확장성과 정확도 측면에서 기존 근사 기법들과 비교해 볼 때 이 방법은 어떠한가?

주요 결과

• 약간의 약한 의존성 링크 제거만으로도 절연수 복잡도가 크게 감소하였으며, 클리크 크기와 클리크 수 모두 크게 감소하였다.
• 시험한 실제 네트워크에서 추론의 계산 비용이 몇 개의 지수 수준까지 감소하였으며, 특히 크고 밀도가 높은 네트워크에서 두드러졌다.
• 정확도에 미치는 영향은 미미하였으며, 대부분의 응용 분야에서 후행 확률 변화가 허용 가능한 임계값 이내에 머물렀다.
• 삼각화 과정에서 필인과 모랄 라이제이션 링크 수가 효과적으로 감소하여 계산 폭발의 주요 원인이 되는 요소가 줄어들었다.
• 실험적 평가를 통해 이 방법이 대규모 베이지안 네트워크에서 확장성과 실용성 면에서 검증되었으며, 명확한 성능 향상이 관찰되었다.
• Jensen & Andersen (1990)의 방법과 마찬가지로 기존 근사 기법들과 보완적으로 작용하며, 확률적 근사가 아닌 구조적 단순화에 초점을 맞춘다.