[논문 리뷰] AND/OR Multi-Valued Decision Diagrams (AOMDDs) for Weighted Graphical Models

Robert Mateescu, Rina Dechter|arXiv (Cornell University)|2012. 06. 20.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 가중 그래픽 모델—특히 확률 모델—를 컴파일하기 위한 표준화된 데이터 구조인 AND/OR 다가치 결정 다이어그램(AOMDD)을 소개한다. 이는 AND/OR 탐색 공간과 순서화된 이진 결정 다이어그램(OBDD)을 일반화하여 개발된 것으로, 복잡도가 트리너비 기반으로 제한되며 경로너비 기반으로 제한되는 기존 OBDD와는 달리, 지수적 복잡도가 트리너비에 의해 제한됨으로써 효율적인 컴파일과 모델 조합이 가능해진다. 변수 제거 기반 스케줄링과 일반적인 APPLY 알고리즘을 통해 이를 실현하였으며, 초보적 실험 결과는 확장 가능한 추론에 큰 잠재력을 보여준다.

ABSTRACT

Compiling graphical models has recently been under intense investigation, especially for probabilistic modeling and processing. We present here a novel data structure for compiling weighted graphical models (in particular, probabilistic models), called AND/OR Multi-Valued Decision Diagram (AOMDD). This is a generalization of our previous work on constraint networks, to weighted models. The AOMDD is based on the frameworks of AND/OR search spaces for graphical models, and Ordered Binary Decision Diagrams (OBDD). The AOMDD is a canonical representation of a graphical model, and its size and compilation time are bounded exponentially by the treewidth of the graph, rather than pathwidth as is known for OBDDs. We discuss a Variable Elimination schedule for compilation, and present the general APPLY algorithm that combines two weighted AOMDDs, and also present a search based method for compilation method. The preliminary experimental evaluation is quite encouraging, showing the potential of the AOMDD data structure.

연구 동기 및 목표

• 가중 그래픽 모델, 특히 확률 모델을 위한 확장 가능한 표준화된 데이터 구조를 개발하여 효율적인 추론을 지원한다.
• AND/OR 탐색 공간과 OBDD를 가중 모델에 적합한 다가치 결정 다이어그램 프레임워크로 일반화한다.
• 기존 OBDD가 경로너비 기반 복잡도 제약을 가졌던 것을 트리너비 기반 복잡도 제약으로 감소시켜 확장성을 향상시킨다.
• 가중 AOMDD를 조합하기 위한 변수 제거 기반 컴파일 스케줄링과 일반적인 APPLY 알고리즘을 설계한다.
• 실제 모델 컴파일 및 추론에 대한 초보적 실험 결과를 통해 AOMDD의 실증 잠재력을 평가한다.

제안 방법

• AOMDD는 내부 노드가 변수를, 간선이 값을 나타내는 AND/OR 탐색 공간 표현을 사용하며, 종단 노드는 가중치를 인코딩한다.
• 데이터 구조는 변수의 특정 순서로 처리하여 크기를 최소화하고 표준화를 유지하는 변수 제거 기반 컴파일 스케줄링을 통해 구축된다.
• 두 개의 가중 AOMDD를 조합하기 위해 일반적인 APPLY 알고리즘을 정의하였으며, 이는 재귀적 탐색과 공유 서브그래프 재사용을 통해 합, 곱, 근사화 등의 연산을 지원한다.
• AOMDD는 표준화되어 있어 동일한 모델은 동일한 다이어그램을 생성하므로, 효율적인 동치성 검사와 최적화를 가능하게 한다.
• 그래픽 모델의 도모라이즈된 유도된 조인 트리의 구조를 활용하여 컴파일을 안내하고 결과 다이어그램의 크기를 최소화한다.
• 컴파일은 AND 및 OR 노드를 재귀적으로 전개하고, 변수 제거 규칙을 적용하며, 동형 서브트리를 병합하여 중복을 줄이는 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 가중 그래픽 모델, 특히 확률 모델을 다룰 수 있도록 다가치 결정 다이어그램 표현을 효과적으로 확장할 수 있는가?
• RQ2 AOMDD에서 AND/OR 탐색 공간의 사용이 기존 OBDD와 비교해 컴파일 복잡도를 크게 감소시키는가?
• RQ3 APPLY 연산을 일반화하여 가중 AOMDD의 효율적 조합 및 조작이 추론 작업에 가능하게 할 수 있는가?
• RQ4 AOMDD의 크기와 컴파일 시간이 이론 분석에서 주장한 바와 같이 경로너비가 아닌 트리너비에 의해 제한되는가?
• RQ5 실제 또는 시뮬레이션된 그래픽 모델에서 AOMDD의 확장성 및 추론 효율성 측면에서 실증 성능은 어떠한가?

주요 결과

• AOMDD 표현은 표준화되어 있어 동치 모델이 동일한 다이어그램을 생성하므로, 효율적인 동치성 검사와 최적화를 가능하게 한다.
• 컴파일 복잡도는 모델의 도모라이즈된 그래프의 트리너비에 의해 제한되며, 기존 OBDD가 경로너비에 의해 제한되는 것과 비교해 상당한 향상이 이루어졌다.
• APPLY 알고리즘은 재귀적 탐색과 공유 서브그래프 재사용을 통해 두 개의 가중 AOMDD를 효율적으로 조합할 수 있으며, 근사화 및 조건화와 같은 추론 연산을 지원한다.
• 변수 제거 기반 컴파일 스케줄링은 변수 처리 순서를 통해 중간 복잡도를 최소화함으로써 다이어그램 크기를 효과적으로 줄이고 효율성을 향상시킨다.
• 초보적 실험 평가 결과 AOMDD는 중간 수준의 트리너비를 가진 모델을 효율적으로 처리할 수 있으며, 가중 그래픽 모델에서의 확장 가능한 추론에 큰 잠재력을 보여준다.
• 결과적으로 AOMDD는 저~중간 수준의 트리너비를 가진 모델에 대해 기존 OBDD 기반 접근 방식보다 공간 및 시간 효율성 측면에서 뛰어나다는 것이 확인되었다.