[論文レビュー] K2-ABC: Approximate Bayesian Computation with Kernel Embeddings

Mijung Park, Wittawat Jitkrittum+1 more|arXiv (Cornell University)|Feb 9, 2015

Markov Chains and Monte Carlo Methods参考文献 29被引用数 27

ひとこと要約

本稿では、再帰的ヒルバート空間（RKHS）における経験的データ分布のカーネル埋め込みを用いて、手動による要約統計量の選定を置き換える非パrametricな近似ベイズ推論手法K2-ABCを提案する。最大平均差分（MMD）を観測データとシミュレートされたデータ間の乖離尺度として用いることで、情報損失なしに尤度フリー推論が可能となり、シミュレートされたデータおよび実際の生物学的データの両方において、既存手法よりもより正確な事後分布近似を達成する。

ABSTRACT

Complicated generative models often result in a situation where computing the likelihood of observed data is intractable, while simulating from the conditional density given a parameter value is relatively easy. Approximate Bayesian Computation (ABC) is a paradigm that enables simulation-based posterior inference in such cases by measuring the similarity between simulated and observed data in terms of a chosen set of summary statistics. However, there is no general rule to construct sufficient summary statistics for complex models. Insufficient summary statistics will "leak" information, which leads to ABC algorithms yielding samples from an incorrect (partial) posterior. In this paper, we propose a fully nonparametric ABC paradigm which circumvents the need for manually selecting summary statistics. Our approach, K2-ABC, uses maximum mean discrepancy (MMD) as a dissimilarity measure between the distributions over observed and simulated data. MMD is easily estimated as the squared difference between their empirical kernel embeddings. Experiments on a simulated scenario and a real-world biological problem illustrate the effectiveness of the proposed algorithm.

研究の動機と目的

• 近似ベイズ計算（ABC）における十分な要約統計量の選定という課題に取り組み、情報損失に起因する偏りを生じる可能性があるため。
• 手作業で作成された統計量に依存しない完全に非パrametricなABCフレームワークを構築すること。そのために、データ分布を再帰的ヒルバート空間（RKHS）に埋め込む。
• 経験的データ分布間の乖離尺度として最大平均差分（MMD）を用いることで、要約統計量を経由せずに完全なデータを直接比較可能にする。
• 特徴的カーネルを用いることでRKHS埋め込みが単射的かつ完全に十分となるため、事後分布推定に情報損失が生じないことを保証する。
• ABCフレームワーク内での線形時間およびランダムフーリエ特徴量近似を用いて、MMDの推定を効率化し、事後分布の精度と計算効率を向上させる。

提案手法

• 正定値カーネルを用いて経験的データ分布を再帰的ヒルバート空間（RKHS）に埋め込み、その埋め込みを非パrametricな要約統計量として用いる。
• 観測データの経験的分布とシミュレートされたデータの間の非パrametricな距離尺度として最大平均差分（MMD）を用い、カーネル関数を介して計算する。
• ABC反復回数をMとして、O(M(n_x + n_y)))時間で乖離を推定する線形時間MMD推定器を採用する。
• ランダムフーリエ特徴量を用いてカーネル関数を近似し、D次元の特徴量を用いてO(MD(n_x + n_y)))時間で効率的なMMD推定を実現する。
• 観測データのカーネル埋め込みをABCにおける十分統計量として用い、カーネルが特徴的であれば、p(θ|μ(y*))が完全事後分布p(θ|y*)と等価になるように保証する。
• MMDに基づく乖離をABCの拒否サンプリングフレームワークに統合し、RKHS埋め込み空間における類似度に応じてパラメータの提案を受容する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ヒルバート空間（RKHS）におけるカーネル埋め込みは、要約統計量の手動選定を不要にする十分な非パrametricな要約統計量として機能するか？
• RQ2 経験的データ分布間の乖離尺度としてMMDを用いることで、手作業で作成された要約統計量を用いた従来のABCよりも、より正確な事後分布近似が達成できるか？
• RQ3 ABCにおいてMMDを効率的に計算する方法は何か？スケーラビリティを維持しつつ、統計的パワーを保ち、情報損失を回避できるか？
• RQ4 異なるカーネル選択が、現実世界の推論タスクにおけるK2-ABCフレームワークの性能と効率に及ぼす影響はどの程度か？
• RQ5 本手法は、SL-ABCなどの既存の最先端ABC手法を上回る性能を示すか？特に、高次元で複雑なデータに対して、事後分布の精度が向上するか？

主な発見

• 線形時間MMD推定器（K2-lin）およびランダムフーリエ特徴量MMD推定器（K2-rf）を用いたK2-ABCは、ブローフライデータセットにおいて、最も優れた既存手法であるSL-ABCを上回った。
• カーネル埋め込みを要約統計量として用いることで、特徴的カーネルが埋め込みを単射的にし、十分となるため、事後分布推定に情報損失が生じない。
• ランダムフーリエ特徴量近似により、O(MD(n_x + n_y)))の計算コストで効率的なMMD推定が可能となり、より大きなデータセットへのスケーラビリティが実現された。
• シミュレーション環境および実世界の生物学的問題の両方において、K2-ABCは手作業で作成された要約統計量に依存する手法よりも、より正確な事後分布推定を達成した。
• 本手法は異なるカーネル選択に対しても頑健であったが、性能はカーネル選択に依存しており、ドメイン固有のカーネル設計がさらなる推論品質の向上に寄与する可能性を示唆した。