[논문 리뷰] Structured Factored Inference: A Framework for Automated Reasoning in Probabilistic Programming Languages

Avi Pfeffer, Brian E. Ruttenberg외 1명|arXiv (Cornell University)|2016. 06. 10.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 복잡한 모델을 하위 모델로 분해하고 각 하위 모델에 맞춤형 추론 알고리즘을 적용하며 요소 기반 전파를 통해 결과를 통합하는, 자동화된 확률적 추론을 위한 Structured Factored Inference(SFI) 프레임워크를 소개한다. SFI는 근사 방법보다 훨씬 빠른 런타임을 보이며 정확한 추론과 유사한 성능을 달성하여 실제 모델에서 근사 최적의 정확도와 확장성을 입증한다.

ABSTRACT

Reasoning on large and complex real-world models is a computationally difficult task, yet one that is required for effective use of many AI applications. A plethora of inference algorithms have been developed that work well on specific models or only on parts of general models. Consequently, a system that can intelligently apply these inference algorithms to different parts of a model for fast reasoning is highly desirable. We introduce a new framework called structured factored inference (SFI) that provides the foundation for such a system. Using models encoded in a probabilistic programming language, SFI provides a sound means to decompose a model into sub-models, apply an inference algorithm to each sub-model, and combine the resulting information to answer a query. Our results show that SFI is nearly as accurate as exact inference yet retains the benefits of approximate inference methods.

연구 동기 및 목표

• 대규모이고 복잡한 실제 모델에서 발생하는 확률적 추론의 계산적 병목 현상을 해결하기 위해.
• 수동적인 알고리즘 선택 및 설정의 부담을 줄이기 위해 모델 인식 기반의 자동 추론 전략 조합을 가능하게 하기 위해.
• 관리 가능한 인터페이스를 가진 하위 모델로 확률적 모델을 분해하기 위한 신뢰할 수 있고 의미론적으로 기반을 둔 프레임워크를 제공하기 위해.
• 다른 하위 모델에서 정확한 방법과 근사 방법을 조합하여 하이브리드 추론을 가능하게 하여 속도와 정확도를 모두 향상시키기 위해.
• 확률적 프로그래밍에서 일반적이고 확장 가능한 자동 추론 시스템의 기반을 마련하기 위해.

제안 방법

• 모델의 확률적 프로그래밍 의미론을 활용하여 분해 포인트를 식별하고, 구조화된 하위 모델 추출을 가능하게 한다.
• 각 하위 모델에 대해 독립적으로 추론 알고리즘을 적용하여 쿼리와 관련된 변수들에 대한 결합 분포로 축소한다.
• 요소를 사용하여 하위 모델 간의 결과를 표현하고 전파함으로써 추론 결과의 일관된 통합을 가능하게 한다.
• 구조적 복잡도(예: 트리 폭, 요소 크기)를 기반으로 하위 모델 별 알고리즘 선택을 지도하는 히ュ리스틱 전략을 적용한다.
• 다른 하위 모델에서 정확한 방법(예: 변수 제거)과 근사 방법(예: 깁스 샘플링, 믿음 전파)을 조합하여 하이브리드 추론을 지원한다.
• 인터페이스 크기를 최소화하여 확장성 향상을 도모하는 하위 모델을 생성하는 계층적 분해 전략을 사용한다.

실험 결과

연구 질문

• RQ1 복잡한 확률적 모델을 자동으로 하위 모델로 분해하여 효율적인 추론을 가능하게 할 수 있는가?
• RQ2 다른 하위 모델에서 정확한 추론 알고리즘과 근사 추론 알고리즘을 조합하면 높은 정확도와 빠른 성능를 동시에 달성할 수 있는가?
• RQ3 분해의 세분성과 추론 전략의 선택이 추론 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 SFI에서 히ュ리스틱 기반 알고리즘 선택이 실제 모델에서 단일 모델 추론 접근법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 SFI는 확률 모델링에서 수동적인 알고리즘 튜닝이 얼마나 줄어들 수 있는가?

주요 결과

• 하이브리드 SFI 전략(VE/BP–15)은 평탄한 BP–30과 평탄한 VE보다 런타임이 빠르면서도 정확도 차이가 거의 없었다.
• 지진 감시 모델에서 계층적 VE는 하이브리드 전략보다 런타임에서 뛰어나, 수작업으로 구성된 제거 순서가 히ュ리스틱을 능가할 수 있음을 보여주었다.
• SFI 프레임워크는 메모리 제한으로 인해 전체 VE가 실패한 지진 모델의 모든 테스트를 완료하여 강건성을 입증했다.
• 하이브리드 방법(VE/BP–30)은 평탄한 BP–30보다 정확도가 높고 평탄한 VE보다 빠르며, 정확도와 속도 양면에서 열등함을 보였다.
• 간단한 히ュ리스틱을 사용함에도 불구하고 SFI는 정확한 추론과 거의 유사한 성능을 달성했고, 표준 근사 방법보다 빠른 성능을 보였다.
• 이 프레임워크는 정확한 방법이 메모리나 시간 제약로 인해 실패할 수 있는 모델에서도 확장 가능한 추론을 가능하게 한다.