[논문 리뷰] Towards Completely Lifted Search-based Probabilistic Inference

David Poole, Fahiem Bacchus외 1명|arXiv (Cornell University)|2011. 07. 20.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 21

한 줄 요약

이 논문은 두 가지 핵심 케이스에서 완전히 높은 수준의 추론(즉, 기반화를 전혀 하지 않음)을 달성하는 검색 기반의 확률적 추론 프레임워크를 제안한다: 추론이 인구 규모에 대해 다항식일 경우와 매개변수화된 랜덤 변수(PRVs)가 0개 또는 1개의 인수를 가질 경우. 첫 번째 경우에 대해선 인구 규모의 로그에 대해 다항 시간 추론을 보이며, 두 번째 경우에 대해선 인구 규모에 대해 다항 시간 추론을 수행한다. 이는 이러한 상황에서 기반화가 본질적으로 필요하지 않음을 증명한다.

ABSTRACT

The promise of lifted probabilistic inference is to carry out probabilistic inference in a relational probabilistic model without needing to reason about each individual separately (grounding out the representation) by treating the undistinguished individuals as a block. Current exact methods still need to ground out in some cases, typically because the representation of the intermediate results is not closed under the lifted operations. We set out to answer the question as to whether there is some fundamental reason why lifted algorithms would need to ground out undifferentiated individuals. We have two main results: (1) We completely characterize the cases where grounding is polynomial in a population size, and show how we can do lifted inference in time polynomial in the logarithm of the population size for these cases. (2) For the case of no-argument and single-argument parametrized random variables where the grounding is not polynomial in a population size, we present lifted inference which is polynomial in the population size whereas grounding is exponential. Neither of these cases requires reasoning separately about the individuals that are not explicitly mentioned.

연구 동기 및 목표

• 관계적 확률 모델에서 높은 수준의 추론 알고리즘이 무차별적인 개체를 기반화해야 하는 근본적인 이유가 있는지 조사하는 것.
• 특히 0개 또는 1개의 인수를 가진 매개변수화된 랜덤 변수(PRVs)에 대해, 모든 경우에서 기반화 없이 정확한 높은 수준의 추론이 가능할 수 있는지 규명하는 것.
• 기반화가 인구 규모에 대해 다항식일 수 있는 경우를 규명하고, 이 경우에 대해 추론 시간이 인구 규모의 로그에 대해 다항식이 되도록 보장하는 것.
• 기반화가 지수적일 경우에도 조건부 질의를 정확히 처리할 수 있도록, 기반화를 피하는 검색 기반 추론 알고리즘을 개발하는 것.
• 기반화를 피할 수 있는 핵심 구조적 케이스를 규명하고 해결하여 완전히 높은 수준의 추론의 기초를 마련하는 것.

제안 방법

• 변수 제거가 중간 표현의 복잡성으로 인해 악영향을 미치는 것을 방지하기 위해, 조건화 기반의 검색 기반 추론 접근 방식(예: 재귀적 조건화)을 사용한다.
• 중간 결과로는 각 파라미터화된 랜덤 변수에 대해 관련 수량과 확률을 가진 요소인 파프랙터(parfactor) 표현을 사용한다.
• 특정 할당 조건 하에서 파프랙터 기여도를 계산하는 컨텍스트 기반 평가 메커니즘(eval_parfactor)을 도입하며, 공통된 특성을 가진 개체 수를 세는 기능을 포함한다.
• 파라미터화된 변수를 다룰 때 분할 및 통합 기법에 제약 조건을 적용하여, 개체 블록에 대해 기반화 없이 추론할 수 있도록 한다.
• 다중 값 매개변수화된 랜덤 변수(PRVs)를 다루기 위해, 각 값에 할당된 개체의 수에 대한 분포를 모델링하고 평가 단계에서 조합 수학을 통합함으로써 프레임워크를 확장한다.
• 기본 변수 이름을 정규화하고 사용하지 않는 변수를 합산함으로써 기반화 없이도 높은 수준의 구조를 유지하는 캐싱 및 무시 기능을 구현한다.

실험 결과

연구 질문

• RQ1 관계적 확률 모델에서 높은 수준의 추론이 무차별적인 개체를 기반화해야 하는 근본적인 이유가 있는가?
• RQ2 기반화가 인구 규모에 대해 다항식일 경우, 인구 규모의 로그에 대해 다항 시간 내에 추론을 수행할 수 있는가?
• RQ3 0개 또는 1개의 인수를 가진 매개변수화된 랜덤 변수(PRVs)에 대해, 기반화가 지수적일지라도 기반화 없이 인구 규모에 대해 다항 시간 내에 정확한 추론을 수행할 수 있는가?
• RQ4 검색 기반 추론 방법이 조건부 질의와 복잡한 종속성을 정확히 처리하면서도 완전한 높이 올림(기반화 없음)을 유지할 수 있는가?
• RQ5 변수 제거 기반 방법이 높이 올림에 실패할 수 있는 구조적 조건이 있으며, 이에 대해 검색 기반 방법이 성공할 수 있는가?

주요 결과

• 기반화가 인구 규모에 대해 다항식일 경우, 본 논문은 추론 시간이 인구 규모의 로그에 대해 다항식이 되도록 보이며, 상당한 효율성 향상을 달성한다.
• 0개 또는 1개의 인수를 가진 매개변수화된 랜덤 변수(PRVs)에 대해 제안된 방법은 인구 규모에 대해 다항 시간 내에 추론을 수행하지만, 기반화는 여전히 지수적일 뿐이므로 뚜렷한 이점이 있음을 입증한다.
• 테스트된 모든 0- 및 1-인수 PRVs 케이스에서 알고리즘이 기반화를 완전히 피함으로써, 이러한 상황에서 기반화가 필수적인 단계가 아님을 증명한다.
• 평가 함수에 조합 수학을 통합함으로써, 다중 값 매개변수화된 랜덤 변수(PRVs)에 대해 분포를 수량에 따라 모델링함으로써 프레임워크가 일반화됨을 확인한다.
• 컨텍스트 기반 수세기 및 정규화된 변수 관리 기법을 통해 정확성과 완전한 높이 올림을 유지함으로써, 개별 인스턴스를 기반화하거나 재계산할 필요 없이 추론이 가능하다.
• 논문은 더 이상 인수를 가진 PRVs에 대해서는 여전히 열린 문제로 남아 있으며, 일부 복잡한 케이스는 여전히 완전한 높이 올림을 저지르지 못하지만, 프레임워크는 이러한 문제를 다룰 수 있는 도구를 제공한다.