[論文レビュー] Summary Statistics in Approximate Bayesian Computation

Dennis Prangle|arXiv (Cornell University)|Dec 17, 2015

Markov Chains and Monte Carlo Methods参考文献 37被引用数 24

ひとこと要約

この論文は、高次元のデータを直接使用すると事後分布の近似精度が低下する『次元の呪い』を軽減するため、近似ベイズ計算（ABC）における低次元で情報量の多い要約統計量の選択手法をレビューする。部分集合選択、補助尤度法、射影手法を評価し、性能は問題に依存しており、一貫して優れる手法は存在しないと結論づける。

ABSTRACT

This document is due to appear as a chapter of the forthcoming Handbook of Approximate Bayesian Computation (ABC) edited by S. Sisson, Y. Fan, and M. Beaumont. Since the earliest work on ABC, it has been recognised that using summary statistics is essential to produce useful inference results. This is because ABC suffers from a curse of dimensionality effect, whereby using high dimensional inputs causes large approximation errors in the output. It is therefore crucial to find low dimensional summaries which are informative about the parameter inference or model choice task at hand. This chapter reviews the methods which have been proposed to select such summaries, extending the previous review paper of Blum et al. (2013) with recent developments. Related theoretical results on the ABC curse of dimensionality and sufficiency are also discussed.

研究の動機と目的

• 高次元の要約統計量がパラメータ推定の精度を著しく低下させる『次元の呪い』を軽減するため、ABCにおける低次元で情報量の多い要約統計量の選択手法を検討する。
• パラメータ推定およびモデル選択に必要な情報を保持する低次元で情報量の多い要約統計量を特定・評価するための手法を同定し、評価する。
• 補助尤度法およびABCモデル選択分野における最近の進展を統合することで、先行レビューを拡張する。
• 特定の問題文脈に依存する最適な手法の選択に関する実用的ガイダンスを提供する。

提案手法

• 高次元データを低次元の要約統計量に縮約するための3つの主な戦略（部分集合選択、補助尤度に基づく手法、射影に基づく手法）を用いたフレームワークを採用する。
• ABCの拒否サンプリングおよび重要度サンプリングアルゴリズムを用いて、さまざまな要約統計量選択手法の性能を評価する。
• 分類や回帰などの機械学習手法を用いて訓練データから要約統計量を生成し、予測精度を活用して十分統計量の性質を推定する。
• 将来の自動的・データ駆動型の要約統計量選択のための潜在的ツールとして、深層ニューラルネットワークおよび特徴辞書の利用を提案する。
• 要約統計量の次元を維持したまま変換を行うことでABCの性能を向上させる可能性を検討し、特定のアルゴリズムで実証されている。
• 複数の要約統計量選択手法を比較する際の計算コストを削減するため、事前に生成された大規模なシミュレーションデータセットを再利用する。

実験結果

リサーチクエスチョン

• RQ1 要約統計量の次元が、ABCの事後分布近似の精度および計算効率にどのように影響を与えるか？
• RQ2 低次元で情報量の多い要約統計量がABCで必要とされる理論的根拠（十分統計量および次元の呪いの観点から）は何か？
• RQ3 部分集合選択、補助尤度、射影の各戦略は、事後分布近似の品質および計算コストの観点でどのように比較できるか？
• RQ4 回帰や分類などの機械学習手法を、主観的な特徴選択を必要とせずに、ABCにおける情報量の多い要約統計量の生成に効果的に応用できるか？
• RQ5 従来の要約統計量を回避する最近の距離ベースの手法は、ABCにおける次元の呪いをどの程度軽減できるか？

主な発見

• ABC拒否サンプリングにおける漸近的誤差率は $ O_p(n^{-4/(q+4)}) $ として減少する。ここで $ q $ は要約統計量の次元を表す。これにより、高次元の要約統計量は収束が遅く、近似精度が低下することを示している。
• 十分統計量はABCにとって理想であるが、実際には通常は利用できないため、情報量が多くかつ次元が低いが不十分な要約統計量の使用が不可避となる。
• 実験的比較により、ABC-IP（射影を用いた重要度サンプリング）およびABC-IL（補助尤度を用いた重要度サンプリング）は、ABC-IS（部分集合選択を用いた重要度サンプリング）をしばしば上回ることが判明したが、問題によって結果は異なる。
• 一貫して優れた手法は存在せず、ABC-IPおよびABC-ILは頻繁により効率的かつ正確であるが、最良の選択肢は特定のモデルおよびデータ構造に依存する。
• 射影に基づく手法は非常に柔軟性が高く、広範な問題に適用可能であるため、他の手法が適さない場合の強力な代替手段となる。
• 将来的な改善は、深層学習に基づく要約統計量選択やドメイン固有の特徴辞書の活用による可能性があるが、トレーニングデータの要件が依然として課題である。