[논문 리뷰] Approximate Knowledge Compilation by Online Collapsed Importance Sampling

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|2018. 05. 31.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 부분적 할당에 기반하여 변수를 동적으로 선택하는 온라인 축소 중요도 샘플링과 축소 컴파일레이션을 도입한다. 이는 부분적으로 컴파일된 산술 회로를 효과적인 제안 분포로 사용하여 이산 확률 그래픽 모델에 대한 새로운 근사 추론 방법이다. 정확한 추론 자원이 제한된 조건에서, 특히 문맥별 독립성 구조를 가진 모델에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce collapsed compilation, a novel approximate inference algorithm for discrete probabilistic graphical models. It is a collapsed sampling algorithm that incrementally selects which variable to sample next based on the partial sample obtained so far. This online collapsing, together with knowledge compilation inference on the remaining variables, naturally exploits local structure and context- specific independence in the distribution. These properties are naturally exploited in exact inference, but are difficult to harness for approximate inference. More- over, by having a partially compiled circuit available during sampling, collapsed compilation has access to a highly effective proposal distribution for importance sampling. Our experimental evaluation shows that collapsed compilation performs well on standard benchmarks. In particular, when the amount of exact inference is equally limited, collapsed compilation is competitive with the state of the art, and outperforms it on several benchmarks.

연구 동기 및 목표

• 복잡한 구조(예: 문맥별 독립성 및 국소 결정론성 포함)를 가진 이산 확률 그래픽 모델에서 효율적인 근사 추론을 수행하는 데 도전하는 것.
• 기존의 축소 샘플링 기법의 한계를 극복하기 위해, 사전에 샘플링할 변수를 선택하고 수작업으로 제안 분포를 설정해야 하는 점을 해결하는 것.
• 이미 샘플링된 값의 맥락에 맞게 추론 과정 중에 어떤 변수를 축소할지 동적으로 선택하는 방법을 개발하는 것.
• 지식 컴파일레이션을 샘플링 과정에 통합하여, 부분적으로 컴파일된 회로를 고품질의 제안 분포로 사용함으로써 분산을 줄이는 것.
• 회로 크기를 제한하여 더 큰 모델로의 지식 컴파일레이션을 확장하고, 구조적 특성을 유지하면서 근사 추론을 가능하게 하는 것.

제안 방법

• 온라인 축소 중요도 샘플링은 현재 부분적 할당에 기반하여 다음으로 샘플링할 변수를 동적으로 선택하며, 확장된 모델 위에서 축소 샘플러로 간주함으로써 渐近적으로 편향이 없는 성질을 확보한다.
• 이 방법은 모델의 요소들로부터 점진적으로 구성되는 산술 회로를 사용하며, 남은 변수들에 대한 정확한 추론을 효율적으로 지원하는 부분적으로 컴파일된 표현을 유지한다.
• 중요도 샘플링의 제안 분포는 현재 부분적으로 컴파일된 회로의 상태에서 유도되며, 이미 샘플링된 변수의 맥락에 따라 적응한다.
• 변수 선택 정책(예: MinEnt, RBVar, SS)이 온라인 축소 과정을 이끌며, 나머지 추론의 복잡도를 낮추는 데 기여하는 변수를 우선순위로 삼는다.
• 알고리즘은 회로 크기에 메모리 제한을 적용하여, 컴파일이 가능하도록 하기 위해 얼마나 많은 변수를 샘플링할지 자동으로 결정한다.
• 온라인 축소와 지식 컴파일레이션을 결합함으로써, 표준 근사 추론에서 활용하기 어려운 국소 구조와 문맥별 독립성을 자연스럽게 활용한다.

실험 결과

연구 질문

• RQ1 축소 샘플링에서 온라인 변수 선택이 복잡한 확률 그래픽 모델의 근사 추론 효율성과 정확도를 향상시키는가?
• RQ2 지식 컴파일레이션을 온라인 샘플링 프레임워크에 통합하여 고품질의 적응형 제안 분포를 생성할 수 있는가?
• RQ3 동적 축소 전략은 고정된 축소 전략보다 문맥별 독립성과 국소 구조를 얼마나 더 효과적으로 활용할 수 있는가?
• RQ4 정확한 추론 자원이 제한된 조건에서 축소 컴파일레이션의 성능이 최신 기술보다 뛰어나게 되는가?
• RQ5 밀도 높은 순환 구조나 많은 결정론적 요소를 가진 어려운 모델에서, 이 방법은 벨리프 프로파게이션에 실패하는 상황에서도 강건한가?

주요 결과

• 표준 벤치마크에서 정확한 추론 자원이 동일한 계산 예산 내에 제한된 조건에서, 축소 컴파일레이션은 EDBP 및 samplesearch와 같은 최신 기술과 경쟁 가능한 성능을 달성한다.
• DBN 벤치마크에서 RBVar 또는 MinEnt 정책을 사용한 축소 컴파일레이션은 EDBP 및 samplesearch를 모두 능가하며, 밀도 높은 연결 구조에서의 적응형 변수 선택의 이점을 입증한다.
• frust16 Ising 모델에서 축소 컴파일레이션은 정확한 해에 수렴하는 반면, samplesearch는 편향된 추정치를 제공함으로써, 이 방법의 벨리프 프로파게이션 수렴 문제에 대한 강건성을 보여준다.
• 12x12 격자와 결정론적 요소를 포함한 ProbLog 벤치마크에서, 축소 컴파일레이션은 EDBP보다 낮은 헬링거 거리를 기록한다. EDBP는 결정론적 요소가 많아 수렴하지 못한다.
• samplesearch는 ProbLog 인스턴스에서 일관되게 잘못된 마진을 생성하지만, 축소 컴파일레이션은 런에 관계없이 진짜 값으로 일관되게 수렴함을 보여주며, 이는 편향이 낮음을 시사한다.
• 이 방법의 성능은 변수 선택 정책에 민감하며, 특히 몇 개의 잘 선택된 변수가 나머지 추론을 크게 단순화할 수 있는 모델에서는 MinEnt와 RBVar가 가장 우수한 성능을 보인다.