[논문 리뷰] Dynamic Blocking and Collapsing for Gibbs Sampling

Deepak Venugopal, Vibhav Gogate|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 7

한 줄 요약

이 논문은 표본에서 유도된 상관관계 통계를 기반으로 변수를 블록화 및 축약 집합으로 적응적으로 분할함으로써, 확률적 그래픽 모델의 깁스 샘플링에서 블록화와 축약을 공동으로 최적화하는 동적, 근사 알고리즘을 제안한다. 샘플링 진행 중에 블록화 및 축약 스코어 함수를 동시에 최대화함으로써, 이 방법은 혼합 속도를 크게 향상시키고, 정적 방법 대비 최대 한 단계 높은 정확도를 달성한다.

ABSTRACT

In this paper, we investigate combining blocking and collapsing -- two widely used strategies for improving the accuracy of Gibbs sampling -- in the context of probabilistic graphical models (PGMs). We show that combining them is not straight-forward because collapsing (or eliminating variables) introduces new dependencies in the PGM and in computation-limited settings, this may adversely affect blocking. We therefore propose a principled approach for tackling this problem. Specifically, we develop two scoring functions, one each for blocking and collapsing, and formulate the problem of partitioning the variables in the PGM into blocked and collapsed subsets as simultaneously maximizing both scoring functions (i.e., a multi-objective optimization problem). We propose a dynamic, greedy algorithm for approximately solving this intractable optimization problem. Our dynamic algorithm periodically updates the partitioning into blocked and collapsed variables by leveraging correlation statistics gathered from the generated samples and enables rapid mixing by blocking together and collapsing highly correlated variables. We demonstrate experimentally the clear benefit of our dynamic approach: as more samples are drawn, our dynamic approach significantly outperforms static graph-based approaches by an order of magnitude in terms of accuracy.

연구 동기 및 목표

• 변수를 축약할 경우 악성 의존성을 유도할 수 있는 블록화와 축약을 깁스 샘플링에서 통합하는 데 도전하는 데 목적을 두며.
• 확률적 그래픽 모델에서 블록화 및 축약 전략을 공동으로 최적화하기 위한 원칙적인 방법을 개발하는 데 목적을 두며.
• 샘플에서 수집한 상관관계 통계를 사용하여 샘플링 중에 변수 분할을 동적으로 적응시키는 데 목적을 두며.
• 계산 자원이 제한된 환경에서 혼합 속도와 샘플링 정확도를 향상시키는 데 목적을 두며.
• 런타임 적응을 통해 정적, 그래프 기반 블록화 및 축약 방법을 뛰어넘는 데 목적을 두며.

제안 방법

• 저자는 두 가지 별도의 스코어 함수를 정의한다: 하나는 블록화를 위한 것(랜덤 워크 행동을 감소시키는 변수 그룹화를 선호함)이고, 다른 하나는 축약을 위한 것(높은 상관관계를 가지는 변수를 퇴치함으로써 선호함).
• 이 방법은 블록화 및 축약 스코어 함수를 동시에 최대화함으로써 최적의 변수 분할을 결정하기 위해 다중 목표 최적화 문제를 수립한다.
• 이 최적화는 비가역적이므로, 생성된 샘플에서 수집한 상관관계 통계를 기반으로 주기적으로 변수를 재분할하는 동적, 근사 알고리즘을 제안한다.
• 알고리즘은 표본 기반 상관관계 추정치를 활용하여 블록화 및 축약에 적합한 높은 상관관계를 가지는 변수를 식별함으로써 혼합 효율성을 향상시킨다.
• 샘플링 진행 중에 분할을 동적으로 조정함으로써, 변화하는 사후 구조에 적응할 수 있도록 한다.
• 이 방법은 계산적으로 효율적이며 대규모 그래픽 모델에 스케일링 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 어떻게 하면 깁스 샘플링에서 블록화와 축약을 악성 의존성을 유도하지 않도록 효과적으로 통합할 수 있는가?
• RQ2 어떤 스코어 함수가 원칙적인 방식으로 블록화 및 축약된 변수 집합의 선택을 동시에 이끌 수 있는가?
• RQ3 표본 기반 동적 적응적 변수 분할이 정적, 그래프 기반 방법에 비해 더 빠른 혼합 속도와 높은 정확도를 제공할 수 있는가?
• RQ4 혼합 속도와 정확도 측면에서 동적 방법의 성능이 정적 방법과 비교해 어떻게 되는가?
• RQ5 샘플링 중에 수집된 상관관계 통계가 블록화 및 축약 결정의 질에 어떤 영향을 미치는가?

주요 결과

• 더 많은 샘플이 생성될수록 동적 방법은 정적 그래프 기반 블록화 및 축약 방법에 비해 정확도에서 최대 한 단계 높은 성능을 보이며 뚜렷한 우월성을 보인다.
• 높은 상관관계를 가지는 변수들을 블록으로 묶고 유익한 경우에 축약함으로써 혼합 속도를 향상시킨다.
• 표본에서 유도된 상관관계 통계의 사용은 추론 중에 변수 분할을 적응적으로 개선할 수 있도록 한다.
• 블록화 및 축약 스코어 함수의 공동 최적화는 각 전략을 별도로 최적화하는 것보다 더 나은 사후 추정을 이끌어낸다.
• 동적 알고리즘은 계산 효율성을 유지하면서 정확도 및 수렴 속도 향상에 상당한 기여를 한다.
• 기준 모델에 대한 실험 결과는 다양한 데이터셋에서 정적 대안 대비 동적 방법의 일관된 우월성을 입증한다.