[論文レビュー] Likelihood-free inference by penalised logistic regression

Ritabrata Dutta, Jukka Corander+2 more|arXiv (Cornell University)|Nov 30, 2016

Gaussian Processes and Bayesian Inference参考文献 38被引用数 9

ひとこと要約

この論文は、明示的な尤度関数を必要とせず、罰則付きロジスティック回帰を用いて事後分布を推定する尤度フリー推論手法を提案する。事後分布推定を比推定問題として定式化し、正則化を適用することで、関連する要約統計量の自動選択が可能となり、合成尤度やABCと比較して、複雑で高次元のモデルにおいて優れた性能を発揮する一方で、使用のしやすさを維持する。

ABSTRACT

We consider the problem of parametric statistical inference when likelihood computations are prohibitively expensive but sampling from the model is possible. Several so-called likelihood-free methods have been developed to perform inference in the absence of a likelihood function. The popular synthetic likelihood approach infers the parameters by modelling summary statistics of the data by a Gaussian probability distribution. In another popular approach called approximate Bayesian computation, the inference is performed by identifying parameter values for which the summary statistics of the simulated data are close to those of the observed data. Synthetic likelihood is easier to use as no measure of `closeness' is required but the Gaussianity assumption is often limiting. Moreover, both approaches require judiciously chosen summary statistics. We here present an alternative inference approach that is as easy to use as synthetic likelihood but not as restricted in its assumptions, and that, in a natural way, enables automatic selection of relevant summary statistic from a large set of candidates. The basic idea is to frame the problem of estimating the posterior as a problem of estimating the ratio between the data generating distribution and the marginal distribution. This problem can be solved by logistic regression, and including regularising penalty terms enables automatic selection of the summary statistics relevant to the inference task. We illustrate the general theory on canonical examples and employ it to perform inference for challenging stochastic nonlinear dynamical systems and high-dimensional summary statistics.

研究の動機と目的

• 合成尤度や近似ベイズ計算（ABC）といった既存の尤度フリー推論手法が抱える制限、特に制限的な仮定に依存するか、手動による要約統計量の選択を必要とすることを是正すること。
• 合成尤度と同等に使いやすいが、要約統計量の多変量正規性仮定を必要としない手法を開発すること。
• 正則化を用いて、多数の候補となる要約統計量の中から関連するものを自動的にデータ駆動型で選択すること。
• 高次元の要約統計量を伴う確率的非線形力学系における推論に対して、スケーラブルで頑健なアプローチを提供すること。
• 事後分布推定を、変数選択にペナルティ項を含むロジスティック回帰で解ける比推定問題として定式化すること。

提案手法

• 本手法は、データ生成分布と周辺分布との間の事後比を分類問題として定式化する。
• ロジスティック回帰を用いて、あるデータ点が観測データ分布から来ているか、あるパラメータ値のもとでのシミュレーション分布から来ているかの対数オッズを推定する。
• L1（lasso）または類似のペナルティを用いた正則化により、ロジスティック回帰の係数を処理し、情報量の多い要約統計量の自動選択を実現する。
• 推定されたロジスティック回帰の係数を用いて、モデルパラメータ上の事後分布を近似する。
• 尤度の明示的計算を避けるために、モデルからのモンテカルロサンプルを用いてロジスティック分類器を訓練する。
• 本手法は高次元の要約統計量に対しても頑健であり、合成尤度に内在する正規性仮定を必要としない。

実験結果

リサーチクエスチョン

• RQ1 合成尤度の正規性仮定を回避しつつ、実装が容易な尤度フリー推論手法を開発できるか？
• RQ2 罰則付きロジスティック回帰は、多数の候補となる要約統計量の中から最も関連性の高いものを自動で同定できるか？
• RQ3 本手法の性能は、複雑なモデルにおいて、合成尤度やABCと比較して、精度と頑健性の面で優れているか？
• RQ4 本手法は、高次元の要約統計量および非線形確率的力学系に対して、効果的にスケーリングできるか？
• RQ5 ロジスティック回帰における正則化は、不要な要約統計量を排除することで、どの程度推論を改善するか？

主な発見

• 提案手法は、合成尤度の正規性仮定が満たされない場合を除き、標準的な例において合成尤度やABCと同等またはそれ以上の精度を達成する。
• 罰則付きロジスティック回帰は、情報量の多い要約統計量のみを効果的に特定・保持し、ノイズを低減し推論の効率を向上させる。
• 本手法は高次元の要約統計量においても頑健な性能を示し、従来の手法が次元の呪いのためしばしば失敗する状況でも有効である。
• 尤度が計算不能で、要約統計量が高次元であるような複雑な確率的非線形力学系に対しても、信頼できる推論を可能にする。
• 正則化部は不要な要約統計量を効果的に排除し、手動での選択を要せず、より正確な事後分布推定を実現する。
• 本手法は、合成尤度と同等の計算上の実行可能性と使いやすさを維持しながら、より高い柔軟性と統計的頑健性を提供する。