[論文レビュー] ELFI: Engine for Likelihood-Free Inference

Jarno Lintusaari, Henri Vuollekoski+8 more|arXiv (Cornell University)|Aug 2, 2017

Gaussian Processes and Bayesian Inference参考文献 19被引用数 33

ひとこと要約

ELFI は、シミュレータ、事前分布、要約統計量、距離を柔軟で拡張可能な計算グラフ（ELFI グラフ）に統合することで、尤度フリー推論（LFI）を可能にする Python ベースのソフトウェアライブラリである。BOLFI を用いたベイズ最適化による推論の高速化、クラスターアウトプットの並列処理、およびシミュレーションデータの自動再利用をサポートし、高コストなシミュレータにおいて計算コストを顕著に削減する。

ABSTRACT

Engine for Likelihood-Free Inference (ELFI) is a Python software library for performing likelihood-free inference (LFI). ELFI provides a convenient syntax for arranging components in LFI, such as priors, simulators, summaries or distances, to a network called ELFI graph. The components can be implemented in a wide variety of languages. The stand-alone ELFI graph can be used with any of the available inference methods without modifications. A central method implemented in ELFI is Bayesian Optimization for Likelihood-Free Inference (BOLFI), which has recently been shown to accelerate likelihood-free inference up to several orders of magnitude by surrogate-modelling the distance. ELFI also has an inbuilt support for output data storing for reuse and analysis, and supports parallelization of computation from multiple cores up to a cluster environment. ELFI is designed to be extensible and provides interfaces for widening its functionality. This makes the adding of new inference methods to ELFI straightforward and automatically compatible with the inbuilt features.

研究の動機と目的

• 統計的モデリングにおける尤度フリー推論（LFI）のための柔軟でモジュラーかつ拡張可能なソフトウェアフレームワークを提供すること。
• 尤度関数が不確実または利用できない状況において、代わりにシミュレーションベースの手法に依存して推論を実行する課題に対処すること。
• 要約統計量や距離の再構成を容易にすることで、再計算を伴わずにシミュレーションを再利用できるように、LFI の実験ワークフローを簡素化すること。
• 代替モデルによる推定を用いてシミュレーション回数を削減する BOLFI の統合により、高コストなシミュレータに対する効率的な推論を可能にすること。
• 単一マシンからクラスタまでシームレスに並列処理を実行でき、自動出力保存と再利用を通じて再現可能でバージョン管理されたデータワークフローをサポートすること。

提案手法

• ELFI は、ノードが事前分布、シミュレータ、要約統計量、距離などのコンポーネントである有向非巡回グラフ（DAG）として推論パイプラインを表現する。
• コンポーネントはコール可能関数として実装され、複数の言語で記述可能で、高レベルの Python API を通じて ELFI グラフに統合される。
• ELFI グラフは計算グラフにコンパイルされ、依存関係を追跡し、中間結果の効率的実行とキャッシュを可能にする。
• BOLFI はコア推論手法としてネイティブにサポートされており、ガウス過程を用いて距離関数をモデル化し、ベイズ最適化によるシミュレータのクエリを最適化する。
• ELFI はシミュレーションのバッチ処理をサポートしており、NumPy を用いたベクトル化と実験中の効率的なメモリ使用を実現する。
• 並列処理はプラグイン可能なバックエンド（例：ipyparallel、Spark）を介して処理され、グラフ構造を変更せずに複数コアまたはクラスタ上で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 多様な尤度フリー推論ワークフローを統一的にサポートするためのモジュラーかつ合成可能なフレームワークは、どのように設計できるか？
• RQ2 自動データ再利用とキャッシュは、反復的 LFI 実験における重複計算をどの程度削減できるか？
• RQ3 ベイズ最適化は、高コストなモデルにおける推論に必要なシミュレーション回数を顕著に削減できるか？
• RQ4 グラフベースのインターフェースは、モノリシックまたはスクリプトベースのアプローチと比較して、LFI パイプラインの柔軟性と再現性をどのように向上させるか？
• RQ5 分散コンピューティング環境に展開された汎用 LFI ライブラリの性能とスケーラビリティ特性は何か？

主な発見

• BOLFI を統合することで、ELFI はシミュレーション実行回数を知的に選択する手法により、尤度フリー推論を最大で数個のオーダー以上に高速化できる。
• グラフベースのアーキテクチャにより、要約統計量や距離の変更をしても、事前に生成されたシミュレーションを再計算せずに済むため、反復的実験において顕著な時間短縮が可能になる。
• ELFI は完全なデータ再利用をサポートしており、グラフ内の任意のノードからの出力が自動的に保存され、依存関係が変更された場合に再利用され、重複計算が排除される。
• このライブラリは、イテレーティブでサンプルごとの推論をネイティブにサポートする唯一の汎用 LFI フレームワークであり、収束の監視や早期終了が可能である。
• ELFI は、ローカル環境とクラスタベースの両方の並列処理を標準搭載しており、ipyparallel や Spark などの複数のバックエンドをシームレスに統合している唯一の LFI ソフトウェアである。
• ELFI のモジュラー設計により、新しい推論手法、データストア、またはコンポーネントの追加が容易であり、将来的な保守性と最新の研究動向への対応性を確保できる。