[論文レビュー] Adaptive Gaussian Copula ABC

Yanzhi Chen, Michael U. Gutmann|arXiv (Cornell University)|Feb 27, 2019

Target Tracking and Data Fusion in Sensor Networks被引用数 8

ひとこと要約

本稿では、逐次的および回帰ベースのABCを組み合わせることで、最初に逐次的サンプリングにより均一な補助分布を学習し、その後ガウス・コプゥラを用いてパrameterと要約統計量の間の依存関係をモデル化する、新しいABCアルゴリズムである適応的ガウス・コプゥラABC（AGC-ABC）を提案する。この手法は、特に小さなシミュレーション予算下でも優れた精度と効率を達成し、合成および実世界の推論タスクにおいて既存手法を上回る性能を示す。

ABSTRACT

Approximate Bayesian computation (ABC) is a set of techniques for Bayesian inference when the likelihood is intractable but sampling from the model is possible. This work presents a simple yet effective ABC algorithm based on the combination of two classical ABC approaches --- regression ABC and sequential ABC. The key idea is that rather than learning the posterior directly, we first target another auxiliary distribution that can be learned accurately by existing methods, through which we then subsequently learn the desired posterior with the help of a Gaussian copula. During this process, the complexity of the model changes adaptively according to the data at hand. Experiments on a synthetic dataset as well as three real-world inference tasks demonstrates that the proposed method is fast, accurate, and easy to use.

研究の動機と目的

• 尤度関数が解析的に求められないがシミュレーションは可能であるような状況下で、近似ベイズ計算（ABC）における精度と効率のトレードオフを解消すること。
• 回帰ABCでは要約統計量全体にわたる残差の均一性を仮定しているが、この仮定を改善するため、サンプリングプロセスを適応的に調整することでその限界を克服すること。
• 逐次ABCを用いてより質の高い訓練データを獲得し、回帰ABCを用いて効率的な事後分布の近似を実現する手法を開発すること。ガウス・コプゥラを用いて依存構造をモデル化することで、パrameterと要約統計量の間の複雑な依存関係を捉えること。
• 特に高次元または複雑なモデルにおいて標準ABCが失敗する状況でも、最小限のシミュレーション予算で高い精度を達成すること。

提案手法

• まず、逐次ABCを用いて繰り返し事後分布の近似を改善し、回帰ABCが要請する均一性仮定を満たす訓練データを生成する。
• パrameterと要約統計量の連関分布をガウス・コプゥラでモデル化し、周辺分布と依存構造を分離する。
• コプゥラベースのモデルは、パrameterと要約統計量の条件付き依存関係を捉え、真の残差分布が非均一であっても、正確な残差モデリングを可能にする。
• コプゥラ変換済み変数上で回帰を適用し、要約統計量からパrameterへのマッピングを学習し、真の事後分布に近いサンプルを生成する。
• アルゴリズムはデータに応じてモデルの複雑さを適応的に調整し、より多くのシミュレーションが行われるにつれて精度と効率が向上する。
• 最終的な事後分布近似は、学習されたコプゥラベースの回帰モデルを元のパrameter空間に変換することで得られる。

実験結果

リサーチクエスチョン

• RQ1 逐次的および回帰ABCを組み合わせることで、尤度フリーな設定下でのABC推論の精度と効率を向上させることができるか？
• RQ2 回帰ABCにおける均一性仮定が事後分布推定に与える影響は何か？ また、適応的サンプリングによってこの仮定を緩和できるか？
• RQ3 真の残差分布が非均一な場合でも、ガウス・コプゥラモデルがパrameterと要約統計量の間の複雑な依存関係を効果的に捉えることができるか？
• RQ4 提案手法は、特にシミュレーション予算が限られた状況下で、既存のABC手法を上回る性能を示すか？
• RQ5 コプゥラベースの変換を用いることで、ABCにおける事後分布近似のロバスト性と精度がどのように向上するか？

主な発見

• MA(2)モデルにおいて、AGC-ABCはREG-ABCやSNP-ABCと比較して、真の残差分布と推定された残差分布の間のJSD（0.004–0.010）が顕著に低く、特に低分位点（0.1%–10%）で顕著な改善を示した。
• ロトカ・ヴォリエッタの捕食者・被食者モデルでは、シミュレーション予算が小さい状況下で他の手法と比較して明確な性能向上を示し、JSD値が0.089（0.1%）および0.194（25%）を示しており、要約統計量への強い残差依存性を示した。
• 残差分布が非均一な状況では、回帰ABCやSNP-ABCよりもAGC-ABCの事後分布精度が優れており、等高線図とJSD指標によって確認された。
• AGC-ABCは、少ない数のシミュレーションでも高い精度を維持でき、特にシミュレーション予算が限られた推論状況での効率性を示した。
• ガウス・コプゥラの使用により、非均一な残差構造を効果的にモデル化でき、混合モデルや単純な回帰モデルと比較してバイアスを低減した。
• 実験的結果から、本手法は疫学、生態学、システム生物学における合成的および実世界の問題にわたり、多様なモデルに対してロバストであることが示された。