[論文レビュー] DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression

Jovana Mitrovic, Dino Sejdinović+1 more|arXiv (Cornell University)|Feb 15, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用数 10

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）におけるカーネルリッジ回帰を用いて、データ分布と最適な要約統計量の関数的関係をモデル化することで、近似ベイズ推論（ABC）における問題固有の要約統計量を構築する新規フレームワークDR-ABCを提案する。DR-ABCは、カーネルベースの分布回帰を用いることで、より情報量が多く、柔軟性に富み、効率的な推論を可能にし、トイモデルおよび実世界のモデルにおいて、最先端の手法（SA-ABC や K2-ABC）を上回る性能を発揮し、事後分布の近似誤差を顕著に低減する。

ABSTRACT

Performing exact posterior inference in complex generative models is often difficult or impossible due to an expensive to evaluate or intractable likelihood function. Approximate Bayesian computation (ABC) is an inference framework that constructs an approximation to the true likelihood based on the similarity between the observed and simulated data as measured by a predefined set of summary statistics. Although the choice of appropriate problem-specific summary statistics crucially influences the quality of the likelihood approximation and hence also the quality of the posterior sample in ABC, there are only few principled general-purpose approaches to the selection or construction of such summary statistics. In this paper, we develop a novel framework for this task using kernel-based distribution regression. We model the functional relationship between data distributions and the optimal choice (with respect to a loss function) of summary statistics using kernel-based distribution regression. We show that our approach can be implemented in a computationally and statistically efficient way using the random Fourier features framework for large-scale kernel learning. In addition to that, our framework shows superior performance when compared to related methods on toy and real-world problems.

研究の動機と目的

• 近似ベイズ推論（ABC）における情報量が多く、問題固有の要約統計量の選定という重要な課題に取り組むこと。特に、不適切な選択は近似バイアスを引き起こす。
• データ分布上の関数的回帰を用いて、事後分布の近似誤差を最小化する、原理的かつ汎用的な要約統計量の構築フレームワークを構築すること。
• 再帰的核ヒルバート空間（RKHS）フレームワークにおける大規模なカーネル学習に、ランダムフーリエ特徴量を活用することで、効率的かつスケーラブルな推論を可能にすること。
• 異なるデータ構造に適応するため、全分布回帰と条件付き分布回帰の両方のバリエーションを導入し、潜在的なデータ依存関係を反映させること。
• しばしば定量的でないバイアスを引き起こす、専門家による候補統計量の選定やヒューリスティック手法への依存を低減すること。

提案手法

• 本手法は、再帰的核ヒルバート空間（RKHS）におけるカーネルベースの分布回帰を用いて、データ分布と最適な要約統計量の関数的関係をモデル化する。
• 特徴的カーネルを用いて、経験的データ分布をRKHSに埋め込むことで、すべての統計的情報を保持し、データからの情報損失を防ぐ。
• カーネルリッジ回帰を用いて、平均埋め込みされたデータ分布を最適な要約統計量へマッピングし、回帰関数をABCにおける要約統計量として使用する。
• 第二のバリエーションでは、補助的要素を条件とする重要なデータ要素の条件付き分布を埋め込むことで、パラメータの依存関係をより正確にモデル化する条件付き分布回帰を採用する。
• 計算効率の高い大規模学習を実現するため、ランダムフーリエ特徴量をフレームワークに統合し、統計的効率を維持する。
• ハイパーパrameterは交差検証により選択され、モデルチューニングのための原理的かつスケーラブルなアプローチを実現する。

実験結果

リサーチクエスチョン

• RQ1 汎用フレームワークは、専門家が選定した候補統計量に依存せずに、ABCにおける情報量が多く、問題固有の要約統計量を学習できるか？
• RQ2 RKHSにおけるカーネルベースの分布回帰は、従来の半自動的手法やヒューリスティック手法と比較して、どのように事後分布の近似精度を向上させるか？
• RQ3 特定のデータ成分が注目パラメータに影響を与える場合、条件付き分布回帰はどの程度、関連するデータ構造を捉えることができるか？
• RQ4 本手法は、多様なデータタイプやモデルの複雑さを想定した場合、計算効率および統計的性能の面でどの程度スケーラブルか？
• RQ5 適切なカーネル定義を用いることで、遺伝子配列、系統発生木、グラフなどの構造的データタイプに対しても、本フレームワークを拡張可能か？

主な発見

• DR-ABCは、すべてのテストケースにおいてSA-ABC や K2-ABC を顕著に上回り、一部のシナリオでは平均二乗誤差（MSE）が2桁以上低減された。
• 条件付きDR-ABCは、全状況でK2-ABCを上回り、ABC粒子数が増加するにつれて誤差が明確に減少する傾向を示しており、特に顕著である。
• 全分布DR-ABCは、K2-ABCと同等の性能を発揮し、特定の状況ではそれを上回ることで、多様なデータ構造にわたる頑健性を示した。
• Lotka-Volterraモデルでは、時系列データの高い相関性により回帰が悪条件化するためSA-ABCが失敗するが、DR-ABCは優れた性能を発揮した。
• ランダムフーリエ特徴量の使用により、大規模な実装が可能となり、複雑なデータを扱う実世界の応用において実用的であることが実証された。
• 交差検証により、原理的かつ適切なハイパーパrameter選択が可能であり、適切なカーネル設計により、文字列、グラフ、系統発生木などの構造的データタイプへの拡張が可能である。