[論文レビュー] Lack of confidence in ABC model choice

Christian P. Robert, Jean‐Marie Cornuet+2 more|Feb 22, 2011

Bayesian Methods and Mixture Models参考文献 49被引用数 31

ひとこと要約

この論文は、近似ベイズ計算（ABC）のモデル選択の信頼性に疑問を呈し、不十分な要約統計量を使用すると、無限のデータと計算が可能であっても一貫性のないモデル選択が生じることを示している。ABCに基づくベイズファクターは、実証的検証がなければ信頼できないと主張し、DIY-ABCで実装されているように、誤差率のモンテカルロ評価を伴う探索的使用を提唱している。

ABSTRACT

Approximate Bayesian computation (ABC) have become a essential tool for the analysis of complex stochastic models. Earlier, Grelaud et al. (2009) advocated the use of ABC for Bayesian model choice in the specific case of Gibbs random fields, relying on a inter-model sufficiency property to show that the approximation was legitimate. Having implemented ABC-based model choice in a wide range of phylogenetic models in the DIY-ABC software (Cornuet et al., 2008), we now present theoretical background as to why a generic use of ABC for model choice is ungrounded, since it depends on an unknown amount of information loss induced by the use of insufficient summary statistics. The approximation error of the posterior probabilities of the models under comparison may thus be unrelated with the computational effort spent in running an ABC algorithm. We then conclude that additional empirical verifications of the performances of the ABC procedure as those available in DIYABC are necessary to conduct model choice.

研究の動機と目的

• 不十分な要約統計量を用いた場合のABCのベイジアンモデル選択の理論的・実用的妥当性を調査すること。
• 無限のデータと計算が可能であっても、情報損失によりABCモデル選択が一貫性を欠く可能性があることを実証すること。
• ABCに基づくベイズファクターは、その性能の実証的評価がなければ信頼できないと主張すること。
• ABCによるモデル選択を、決定的推論手法ではなく探索的ツールとして使用することを提唱すること。
• ABCモデル選択の信頼性を評価するため、誤って割り当てられる割合のモンテカルロ評価の必要性を強調すること。

提案手法

• 著者たちは、重要性サンプリング（IS）というより信頼性の高い手法と比較するシミュレーションベースのアプローチを用いる。
• 要約統計量の数を変化させた単純および複雑な集団遺伝学的モデルを用いて、ABCの性能を評価する（24対15）。
• ABCアルゴリズムは、許容誤差閾値ε、距離尺度ρ、および要約統計量ηを用い、観測データに近いパラメータのシミュレーションを受理する。
• ABCの事後モデル確率とISに基づく推定値を比較し、近似の正確性と一貫性を評価する。
• DIY-ABCソフトウェアを用いて、モンテカルロシミュレーションによる誤って割り当てられる割合の評価を通じて、実証的検証を実施する。
• 理論的根拠は、要約統計量の十分性の欠如に起因し、これによりモデル選択に一貫性が欠ける可能性があることである。

実験結果

リサーチクエスチョン

• RQ1 不十分な要約統計量を用いた場合、ABCモデル選択は理論的に正当化できるか？
• RQ2 不十分な統計量に起因する情報損失が、ABCに基づくモデル選択の一貫性に与える影響は何か？
• RQ3 現実的な集団遺伝学的モデルにおいて、ABCの事後確率と重要性サンプリングによる推定値はどのように比較できるか？
• RQ4 実証的検証が行われない場合、ABCに基づくベイズファクターはどの程度モデル選択に信頼できるか？
• RQ5 誤って割り当てられる割合のモンテカルロ評価が、ABCモデル選択の信頼性を評価する上で果たす役割は何か？

主な発見

• 最初の実験では、24個の要約統計量を用いたABCは、重要性サンプリングとの間に高い相関（r = 0.997）を示し、強い一致を示した。
• 要約統計量を15個に減らした場合、相関は0.948に低下し、ABCとISの間で12%のモデル選択決定が逆転した。これは一貫性の低下を示している。
• より複雑な2番目の実験では、ABCとISの推定値間の相関は0.643に低下し、26%の決定が不一致となった。これは性能の著しい劣化を示している。
• 無限のデータと計算が可能であっても、不十分な統計量が使用されていると、ABCモデル選択は真のモデルを回復できないことがあり、一貫性の欠如が示された。
• DIY-ABCソフトウェアによる誤って割り当てられる割合の評価では、2つの実験でそれぞれ20%および14.5%の誤差率が報告され、実証的検証の必要性が確認された。
• 著者たちは、ABCモデル選択を決定的推論手法ではなく、誤差率のモンテカルロシミュレーションによる性能評価を伴う探索的ツールとして扱うべきだと結論づけている。