[논문 리뷰] Tractability through Exchangeability: A New Perspective on Efficient Probabilistic Inference

Mathias Niepert, Guy Van den Broeck|arXiv (Cornell University)|2014. 01. 07.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 12

한 줄 요약

이 논문은 조건부 독립이 없더라도 수백만 개의 변수를 가진 고트리위드 모델에서 효율적인 확률 추론을 가능하게 하는 기본 통계적 성질로 유한 부분 교환 가능성을 제안한다. 교환 가능성은 조건부 독립과 보완적인 관계에 있으며, 라이프팅 추론 알고리즘의 효율성을 설명하며 통계관계 모델에서 정확한 및 근사 라이프팅 추론을 위한 통합된 통계적 기반을 제공한다.

ABSTRACT

Exchangeability is a central notion in statistics and probability theory. The assumption that an infinite sequence of data points is exchangeable is at the core of Bayesian statistics. However, finite exchangeability as a statistical property that renders probabilistic inference tractable is less well-understood. We develop a theory of finite exchangeability and its relation to tractable probabilistic inference. The theory is complementary to that of independence and conditional independence. We show that tractable inference in probabilistic models with high treewidth and millions of variables can be understood using the notion of finite (partial) exchangeability. We also show that existing lifted inference algorithms implicitly utilize a combination of conditional independence and partial exchangeability.

연구 동기 및 목표

• 유한 부분 교환 가능성을 확률 모델에서 추론의 효율성을 보장하는 통계적 성질로 식별하고 체계화하는 것.
• 교환 가능성은 조건부 독립과 보완적으로 작용하여 고트리위드 및 변수 수가 많은 모델에서 효율적인 추론을 가능하게 한다는 것을 보여주는 것.
• 마르코프 로직 네트워크(Markov Logic Networks)와 같은 모델의 문법적 대칭성과 의미적 교환 가능성 간의 연결을 통해 정확한 라이프팅 추론의 통계적 특성화를 제공하는 것.
• 교환 가능성에 기반한 동일한 이론적 프레임워크 하에 정확한 및 근사 추론 접근법을 통합하는 것.
• 기존의 라이프팅 추론 알고리즘이 조건부 독립과 부분 교환 가능성의 조합을 암묵적으로 이용하고 있다는 것을 보여주는 것.

제안 방법

• 모델 표현 방식에 관계없이 변수 순열에 대해 불변인 통계적 성질로서의 유한(부분) 교환 가능성 이론을 수립하는 것.
• 조건부 독립 분해와 유사하게 공동 분포를 분해하여 효율적인 추론을 가능하게 하는 교환 가능 분해를 도입하는 것.
• 마르코프 로직 네트워크(MLNs)에 이 이론을 적용하여 도메인 수준의 대칭성이 기저 원자들의 교환 가능 분해를 유도함을 보여주는 것.
• 도메인 순열 하에서 단항 및 자기 순환 이항 원자들이 교환 가능 성분을 형성하며, 이에 따라 비대각선 이항 원자들이 독립적으로 분해 가능하다는 것을 증명하는 것.
• 조합 구조를 활용하여 교환 가능성과 제한된 쿼리 구조를 이용해 근사 확률을 효율적으로 계산하는 것.
• 쿼리가 오직 제한된 수의 이항 원자만 포함할 경우, 소규모 쿼리 상태의 열거가 도메인 크기와 무관하게 다루기 쉬워지며, 이는 도메인 라이프팅 추론을 가능하게 한다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 조건부 독립이 없더라도 고트리위드 확률 모델에서 효율적인 추론을 가능하게 하는 통계적 성질은 무엇인가?
• RQ2 유한 부분 교환 가능성은 조건부 독립과 어떻게 관련되어 있으며, 추론의 효율성을 보완하는가?
• RQ3 라이프팅 추론 알고리즘의 성공은 문법적 대칭성 외에도 근본적인 통계 원리에 의해 설명될 수 있는가?
• RQ4 교환 가능성은 통계관계 모델에서 정확한 라이프팅 추론의 추론 가능성 특성을 어느 정도까지 특성화할 수 있는가?
• RQ5 마르코프 로직 네트워크와 같은 모델의 문법적 대칭성은 의미적 교환 가능성과 효율적 추론을 어떻게 유도하는가?

주요 결과

• 유한 부분 교환 가능성은 고트리위드 및 수백만 개의 변수를 가진 확률 모델에서 추론의 다항 시간 가능성을 보장하는 충분조건이다.
• 라이프팅 추론 알고리즘은 조건부 독립과 부분 교환 가능성의 조합을 암묵적으로 이용하며, 이 둘의 조합은 조건부 독립만으로 정의되는 모델보다 더 넓은 추론 가능 모델의 범주를 정의한다.
• 논문은 마르코프 로직 네트워크에서 단항 원자와 자기 순환 이항 원자가 도메인 순열 하에 교환 가능 성분을 형성하며, 이는 효율적 추론을 가능하게 한다는 것을 증명한다.
• 비대각선 이항 원자들은 교환 가능 성분을 조건으로 하여 독립적으로 분해 가능하며, 이는 다항 시간 내에 공동 확률을 인라인 분해하여 계산할 수 있음을 의미한다.
• 쿼리가 오직 제한된 수의 이항 원자만 포함할 경우, 쿼리 상태의 수가 도메인 크기와 무관하므로 추론은 여전히 도메인 라이프팅 가능하다.
• 이론적 결과는 교환 가능성의 성질이 정확한 라이프팅 추론의 통계적 특성화를 제공하며, 정확한 및 근사 추론 프레임워크를 통합함을 보여준다.