[논문 리뷰] Lifted Inference for Relational Continuous Models

Jaesik Choi, Eyal Amir외 1명|arXiv (Cornell University)|2012. 03. 15.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 23

한 줄 요약

이 논문은 연관된 연속 모델(Relational Continuous Models, RCMs)에 대한 최초의 정확한 업로드된 추론 알고리즘을 소개한다. 이는 연속 변수를 가진 대규모 연관 데이터에 대해 효율적인 확률적 추론을 가능하게 한다. 가우시안 잠재력이 있는 연관 쌍방 모델의 대칭성을 활용함으로써, 이 방법은 선형 시간 복잡도를 달성하며, 이는 이전의 입체 시간 복잡도 방법보다 크게 향상된 것이다. 실험 결과로는, 지면 기반 및 업로드된 추론 기준선을 모두 능가한다.

ABSTRACT

Relational Continuous Models (RCMs) represent joint probability densities over attributes of objects, when the attributes have continuous domains. With relational representations, they can model joint probability distributions over large numbers of variables compactly in a natural way. This paper presents a new exact lifted inference algorithm for RCMs, thus it scales up to large models of real world applications. The algorithm applies to Relational Pairwise Models which are (relational) products of potentials of arity 2. Our algorithm is unique in two ways. First, it substantially improves the efficiency of lifted inference with variables of continuous domains. When a relational model has Gaussian potentials, it takes only linear-time compared to cubic time of previous methods. Second, it is the first exact inference algorithm which handles RCMs in a lifted way. The algorithm is illustrated over an example from econometrics. Experimental results show that our algorithm outperforms both a groundlevel inference algorithm and an algorithm built with previously-known lifted methods.

연구 동기 및 목표

• 연속 랜덤 변수를 가진 대규모 연관 모델에서 효율적인 정확한 추론을 가능하게 하기 위해.
• 연속 도메인을 가진 모델에 대한 정확한 업로드된 추론 방법의 부족을 해결하기 위해.
• 연관 쌍방 모델에 대해 입체 시간 복잡도를 초월하는 계산 효율성을 향상시키기 위해.
• 연속 속성을 가진 연관 구조에서 실세계 응용을 위한 확장 가능한 솔루션을 제공하기 위해.
• 실증적 평가를 통해 연속 연관 모델에서 업로드된 추론의 실현 가능성과 우수성을 입증하기 위해.

제안 방법

• 알고리즘은 두 개의 아리티를 가진 쌍방 잠재력으로 분해되는 연관 쌍방 모델(Relational Pairwise Models, RPMs)을 대상으로 한다.
• 모델의 구조적 대칭성을 활용하여, 모든 변수를 지면화하지 않고 추론을 수행함으로써 업로드된 연산을 가능하게 한다.
• 가우시안 잠재력의 경우, 가우시안 분포의 닫힌 형식 해를 활용하여 추론 복잡도를 선형 시간으로 감소시킨다.
• 이 방법은 추론 전반에 걸쳐 인수화된 표현을 유지하는 업로드된 변수 제거 전략을 사용한다.
• 업로드된 인수 그래프를 통해 메시지 전달 기법을 적용하여, 지면 수준의 계산을 피하고 연관 구조를 유지한다.
• 알고리즘은 가우시안 분포와 연관 구조의 기호적 조작을 사용하여 근사 없이 정확한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속 변수를 가진 연관 모델에서 효율적으로 정확한 업로드된 추론을 달성할 수 있는가?
• RQ2 연속 도메인에서 모델 크기가 증가함에 따라 업로드된 추론의 계산 복잡도는 어떻게 변화하는가?
• RQ3 런타임과 확장성 측면에서 업로드된 추론이 지면 수준의 추론을 능가할 수 있는가?
• RQ4 기존 알려진 연속 모델을 위한 업로드된 방법에 비해 제안된 방법의 성능 향상은 어느 정도인가?
• RQ5 실제로 알고리즘은 가우시안 잠재력이 있는 연관 구조를 어떻게 처리하는가?

주요 결과

• 제안된 알고리즘은 기존 업로드된 방법의 입체 시간 복잡도에 비해, 가우시안 잠재력이 있는 연관 모델에서 선형 시간 복잡도를 달성한다.
• 이 알고리즘은 연속 모델에 대한 최초의 정확한 업로드된 추론 방법으로, 대규모에서 정밀한 확률적 추론을 가능하게 한다.
• 실험 결과로는, 모델 크기가 증가할수록 지면 수준의 추론보다 뚜렷한 속도 향상이 관찰된다.
• 실세계 경제학 모델에서, 이 방법은 런타임과 확장성 측면에서 기존의 업로드된 추론 알고리즘을 모두 능가한다.
• 수천 개의 변수를 포함하는 대규모 모델에서도 근사 없이 정확한 추론을 유지한다.
• 높은 대칭성과 반복적인 연관 패턴을 가진 모델에서 성능 향상이 가장 두드러진다.