[논문 리뷰] A Variational Approach for Approximating Bayesian Networks by Edge Deletion

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 24

한 줄 요약

이 논문은 트리너비를 줄이기 위해 간선을 삭제하여 베이지안 네트워크를 근사하는 변분적 접근법을 제안한다. KL 발산 최소화를 통해 손실된 필수적 의존성을 유지하는 최적의 보조 매개변수를 결정한다. 이 방법은 중요도 샘플링과 IBP를 일반화하여 MAP 및 비미래적 정보가치와 같은 지수 시간 문제에서 효율적인 추론을 가능하게 한다.

ABSTRACT

We consider in this paper the formulation of approximate inference in Bayesian networks as a problem of exact inference on an approximate network that results from deleting edges (to reduce treewidth). We have shown in earlier work that deleting edges calls for introducing auxiliary network parameters to compensate for lost dependencies, and proposed intuitive conditions for determining these parameters. We have also shown that our method corresponds to IBP when enough edges are deleted to yield a polytree, and corresponds to some generalizations of IBP when fewer edges are deleted. In this paper, we propose a different criteria for determining auxiliary parameters based on optimizing the KL-divergence between the original and approximate networks. We discuss the relationship between the two methods for selecting parameters, shedding new light on IBP and its generalizations. We also discuss the application of our new method to approximating inference problems which are exponential in constrained treewidth, including MAP and nonmyopic value of information.

연구 동기 및 목표

• 높은 트리너비를 가진 베이지안 네트워크에서 정확한 방법으로는 계산이 불가능한 경우에 효율적인 추론을 수행하는 데 도전한다.
• 손실된 의존성을 보완하기 위해 보조 매개변수를 도입함으로써 간선 삭제를 통해 베이지안 네트워크를 원칙적으로 근사하는 방법을 개발한다.
• 기존의 직관적인 히우리스틱 방법보다 더 나은 매개변수 선택을 위해 KL 발산 최소화 문제를 변분 최적화로 공식화한다.
• 중요도 샘플링과 IBP의 적용 범위를 다항수 트리 이외의 더 일반적인 네트워크 구조로 확장한다.
• MAP 및 비미래적 정보가치와 같이 제약된 트리너비에 대해 지수 시간이 소요되는 문제들에 대해 처리 가능한 추론을 가능하게 한다.

제안 방법

• 간선 삭제를 통해 단순화된 베이지안 네트워크를 얻어 정확한 추론을 근사 추론으로 공식화한다.
• 간선 삭제로 인해 상실된 의존성을 보완하기 위해 보조 매개변수를 도입하여 근사 네트워크가 원래 네트워크와 일관성을 유지하도록 한다.
• 원본 네트워크와 근사 네트워크의 분포 간 KL 발산을 최소화하여 보조 매개변수의 선택을 최적화한다.
• 변분 추론 원리를 바탕으로 한 분석적 조건을 유도하여 이전의 직관적 히우리스틱보다 개선된 매개변수 선택 기준을 제공한다.
• 필요한 간선을 삭제하여 다항수 트리가 되는 경우, 이 방법이 IBP를 일반화함을 보이며 더 넓은 네트워크 구조로 확장 가능하다.
• MAP 및 비미래적 정보가치와 같은 복잡한 추론 과제에 이 프레임워크를 적용하여 트리너비 감소를 통해 처리 가능한 해법을 가능하게 한다.

실험 결과

연구 질문

• RQ1 간선 삭제 후 손실된 정보를 최소화하기 위해 보조 매개변수를 체계적으로 결정하는 방법은 무엇인가?
• RQ2 제안된 KL 발산 최소화 방법과 기존의 IBP 및 그 일반화 방법 간의 관계는 무엇인가?
• RQ3 이 변분 프레임워크는 트리너비가 제약된 문제들, 예를 들어 MAP 및 정보가치 추론과 같이 지수 시간이 소요되는 문제들로 확장될 수 있는가?
• RQ4 이 새로운 매개변수 선택 방법은 정확도와 효율성 측면에서 기존의 히우리스틱 방법보다 어떻게 비교되는가?
• RQ5 이 방법은 중요도 샘플링과 IBP의 원리를 다항수 트리가 아닌 구조로 일반화하는 데 어떤 방식으로 기여하는가?

주요 결과

• 제안된 방법은 원본과 근사 베이지안 네트워크 간 KL 발산을 최소화하여 히우리스틱 매개변수 선택에 대한 원칙적인 대안을 제공한다.
• 충분한 간선을 삭제하여 다항수 트리가 되는 경우, 이 방법은 IBP를 일반화하며 두 방법 간의 공식적 연결 고리를 확립한다.
• 제약된 트리너비를 가진 네트워크에서는 MAP 및 비미래적 정보가치와 같은 문제에서 처리 가능한 추론을 가능하게 한다.
• 수학적으로 탄탄한 최적화 기준을 제공함으로써 이전의 직관적 매개변수 선택 규칙보다 변분 프레임워크가 개선된다.
• 실험 결과는 이 방법이 높은 근사 정확도를 유지하면서도 계산 복잡도를 크게 감소시킴을 보여준다.
• 간선 삭제와 매개변수 보정을 통해 지수 시간 문제를 처리 가능한 작업으로 변환함으로써 효율적인 추론을 지원한다.