[논문 리뷰] ELFI: Engine for Likelihood-Free Inference

Jarno Lintusaari, Henri Vuollekoski외 8명|arXiv (Cornell University)|2017. 08. 02.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 33

한 줄 요약

ELFI는 시뮬레이터, 사전분포, 요약통계량, 거리 측도를 유연하고 확장 가능한 계산 그래프(ELFI 그래프)로 구성함으로써, 유사도 기반 추론(LFI)을 가능하게 하는 파이썬 기반 소프트웨어 라이브러리이다. BOLFI를 통한 베이지안 최적화를 활용해 추론를 가속화하고, 클러스터를 통해 병렬 처리를 지원하며, 시뮬레이션 데이터의 자동 재사용을 가능하게 하여 고비용 시뮬레이터의 계산 비용을 크게 감소시킨다.

ABSTRACT

Engine for Likelihood-Free Inference (ELFI) is a Python software library for performing likelihood-free inference (LFI). ELFI provides a convenient syntax for arranging components in LFI, such as priors, simulators, summaries or distances, to a network called ELFI graph. The components can be implemented in a wide variety of languages. The stand-alone ELFI graph can be used with any of the available inference methods without modifications. A central method implemented in ELFI is Bayesian Optimization for Likelihood-Free Inference (BOLFI), which has recently been shown to accelerate likelihood-free inference up to several orders of magnitude by surrogate-modelling the distance. ELFI also has an inbuilt support for output data storing for reuse and analysis, and supports parallelization of computation from multiple cores up to a cluster environment. ELFI is designed to be extensible and provides interfaces for widening its functionality. This makes the adding of new inference methods to ELFI straightforward and automatically compatible with the inbuilt features.

연구 동기 및 목표

• 통계 모델링에서 유사도 기반 추론(LFI)을 위한 유연하고 모듈화되며 확장 가능한 소프트웨어 프레임워크를 제공하는 것.
• 우리가 관측한 데이터의 가능도 함수가 계산이 불가능하거나 제공되지 않을 경우, 이를 대체로 시뮬레이션 기반 방법에 의존하여 추론을 수행하는 데 도전하는 것.
• 요약통계량과 거리 측도와 같은 구성 요소를 재설정하기 쉽게 하여 반복 실험 워크플로우를 단순화함으로써 LFI의 실험적 프로세스를 개선하는 것.
• 보조 모델링을 통한 시뮬레이터 호출 횟수 감소를 통해 BOLFI를 통합함으로써 고비용 시뮬레이터에 대한 효율적인 추론을 지원하는 것.
• 단일 머신부터 클러스터에 이르기까지 원활한 병렬 처리를 지원하고, 자동 출력 저장 및 재사용을 통해 재현 가능하고 버전 관리 가능한 데이터 워크플로우를 제공하는 것.

제안 방법

• ELFI는 유량이 없는 방향성 비순환 그래프(DAG)로 추론 워크플로우를 표현하며, 노드는 사전분포, 시뮬레이터, 요약통계량, 거리 측도 등의 구성 요소를 포함한다.
• 구성 요소들은 호출 가능한 함수로 구현되며, 다양한 프로그래밍 언어로 작성 가능하며, 고수준 파이썬 API를 통해 ELFI 그래프에 통합된다.
• ELFI 그래프는 종속성 추적과 중간 결과의 캐싱을 가능하게 하는 효율적인 실행을 위한 계산 그래프로 컴iles된다.
• BOLFI는 핵심 추론 방법으로 네이티브로 지원되며, 거리 함수를 가우시안 프로세스로 모델링하고 베이지안 최적화를 통해 시뮬레이터 호출을 안내한다.
• ELFI는 시뮬레이션의 배치 처리를 지원하여 NumPy 기반 벡터화와 실험 중 효율적인 메모리 사용을 가능하게 한다.
• 병렬 처리는 플러그인 가능한 백엔드(예: ipyparallel, Spark)를 통해 처리되며, 그래프 구조를 수정하지 않고도 여러 코어 또는 클러스터에서 실행이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 유사도 기반 추론 워크플로우를 통합적으로 지원하기 위해 모듈형이고 조합 가능한 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 자동 데이터 재사용과 캐싱는 반복적인 LFI 실험에서 중복 계산을 얼마나 줄일 수 있는가?
• RQ3 베이지안 최적화가 고비용 모델의 추론을 위해 필요한 시뮬레이터 호출 횟수를 상당히 감소시킬 수 있는가?
• RQ4 그래프 기반 인터페이스는 단일화된 또는 스크립트 기반 접근 방식에 비해 LFI 워크플로우의 융통성과 재현 가능성에 어떻게 기여하는가?
• RQ5 분산 컴퓨팅 환경에 배포되었을 때, 일반 목적의 LFI 라이브러리의 성능 및 확장성 특성은 어떠한가?

주요 결과

• BOLFI 통합을 통해 ELFI는 지능적인 질의 선택을 통해 필요한 시뮬레이션 실행 횟수를 줄임으로써, 유사도 기반 추론에서 수십 배에서 수백 배 이상의 가속화를 달성한다.
• 그래프 기반 아키텍처 덕분에 요약통계량이나 거리 측도와 같은 구성 요소를 수정하더라도 이전에 생성된 시뮬레이션을 다시 계산할 필요가 없어져 반복 실험에서 상당한 시간 절약이 가능하다.
• ELFI는 완전한 데이터 재사용을 지원한다: 그래프 내 어떤 노드의 출력도 자동으로 저장되고, 종속성이 변경될 경우 재사용되어 중복 계산을 제거한다.
• 이 라이브러리는 유일하게 반복적이고 샘플 단위로 추론를 지원하는 일반 목적의 LFI 프레임워크로서, 수렴 모니터링과 조기 정지 기능을 제공한다.
• ELFI는 유일하게 로컬 환경과 클러스터 기반 병렬 처리를 모두 기본적으로 지원하며, ipyparallel 및 Spark와 같은 다양한 백엔드를 원활하게 통합한다.
• ELFI의 모듈형 설계 덕분에 새로운 추론 방법, 데이터 저장소, 또는 구성 요소를 쉽게 확장할 수 있어 장기적인 유지보수성과 최신 연구 개발과의 호환성을 보장한다.