[論文レビュー] Kernel Recursive ABC: Point Estimation with Intractable Likelihood

Takafumi Kajihara, Motonobu Kanagawa+2 more|arXiv (Cornell University)|Feb 23, 2018

Probabilistic and Robust Engineering Design参考文献 38被引用数 4

ひとこと要約

本稿では、尤度関数が計算不能なシミュレータベースのモデルにおける点推定のための新規手法、Kernel Recursive ABC を提案する。同じ観測データに対して逐次的にカーネルABCとカーニングハーディングを組み合わせることで、真のパラメータへの一致収束を達成し、合成データおよび実世界の歩行者フロー・シミュレーションの両方で既存手法を上回る性能を示した。

ABSTRACT

We propose a novel approach to parameter estimation for simulator-based statistical models with intractable likelihood. Our proposed method involves recursive application of kernel ABC and kernel herding to the same observed data. We provide a theoretical explanation regarding why the approach works, showing (for the population setting) that, under a certain assumption, point estimates obtained with this method converge to the true parameter, as recursion proceeds. We have conducted a variety of numerical experiments, including parameter estimation for a real-world pedestrian flow simulator, and show that in most cases our method outperforms existing approaches.

研究の動機と目的

• 複雑または計算コストの高いシミュレータによって尤度関数が計算不能となる統計的モデルにおける点推定の課題に取り組む。
• ABC-MAP やノイズ付きABC-MLE、ベイズ最適化などの既存手法が直面する、事前分布への感受性や高い計算コストといった制限を克服する。
• カーネル平均埋め込みとハーディングを活用することで、推定精度と収束速度を向上させる決定論的で再帰的なアルゴリズムを構築する。
• ベイズ的手法が情報豊かな事前分布を必要とするのに対し、事前分布の誤設定に対してもロバストであるという、主な利点を示す。
• 実世界の歩行者フローモデルを用いて実証し、高次元かつ複雑なデータ環境下での実用的適用性と優れた性能を示す。

提案手法

• パラメータを条件とするシミュレートされたデータの条件付き分布を再生核ヒルベルト空間（RKHS）に埋め込むためにカーネルABCを適用し、明示的な尤度評価なしに非パラメトリック推論を可能にする。
• カーネルハーディングを用いて、シミュレートされたデータの経験的分布と観測データとの間の乖離を最小化するように、決定論的にパラメータ点を選択する。
• 同じ観測データに対して、カーネルABCとカーネルハーディングを再帰的に繰り返し適用し、各ステップでパラメータ推定値を改善する。
• レプresenter定理を活用して、条件付き分布のカーネル埋め込みをシミュレートされたデータポイントの有限和として表現し、計算を効率化する。
• カーネルハーディングとカーネルABCの理論的性質を人口極限において活用することで、ややいなごろしの正則性条件のもとで真のパラメータへの収束を保証する。
• 混合モデルにおける混合係数のディリクレ事前分布を通じて事前情報を統合しつつ、アルゴリズムのデータ駆動的・再帰的性質のおかげで、事前分布の誤設定に対してもロバストである。

実験結果

リサーチクエスチョン

• RQ1 カーネルABCとカーネルハーディングを再帰的に適用することで、尤度関数が計算不能なモデルにおいて真のパラメータの一致推定が可能か？
• RQ2 本手法は、既存のABCベースおよび最適化ベースの点推定手法と比較して、精度と効率性において優れているか？
• RQ3 高次元かつ複雑なシミュレータ環境下において、事前分布の誤設定に対してどの程度ロバストか？
• RQ4 本手法は、歩行者フローモデルのような実世界の高次元シミュレータにおいて、効果的にパラメータを推定できるか？
• RQ5 人口極限における再帰的カーネルABCプロセスの収束に関する理論的根拠は何か？

主な発見

• 歩行者フロー・シミュレータの実験では、Kernel Recursive ABCは歩行者数の平均誤差が61.58（±74.42）で、時間間隔の平均誤差が70.93（±102.08）であり、SMC-ABC（271.51および363.12）とBO（194.57および291.73）を顕著に上回った。
• 5つの活性グループを含む10候補の混合モデルにおいて、本手法は正確に活性成分を同定する高い精度を示した。
• Kernel Recursive ABCは、0.008（±0.009）という、全手法中最も低いデータ乖離誤差を達成し、観測データ分布との一致度が極めて高いことを示した。
• 平均してCPU時間は2233.45秒（±97.54）で、BO（37541.23秒）を上回りながらも高い精度を維持した。
• カーネルABCとハーディングの再帰的適用により、非再帰的または確率的代替手法と比較して、より速い収束と低い分散を達成した。
• 理論的分析により、ややいなごろしの仮定のもとで、本手法は人口極限において真のパラメータに収束することが示された。これにより、一貫性の強い理論的基盤が得られた。