[論文レビュー] A review on statistical inference methods for discrete Markov random fields

Julien Stoehr|arXiv (Cornell University)|Apr 11, 2017

Military Defense Systems Analysis被引用数 11

ひとこと要約

本稿は、正規化定数が計算不能であるために生じる尤度の計算不能性に起因する離散マルコフ確率場（MRF）における統計的推論手法をレビューする。特に、イジングモデルやポッツモデルに注目し、パラメータ推定およびモデル選択のための疑似尤度、変分法、およびモンテカルロ手法（特に近似ベイズ計算（ABC））を調査する。

ABSTRACT

Developing satisfactory methodology for the analysis of Markov random field is a very challenging task. Indeed, due to the Markovian dependence structure, the normalizing constant of the fields cannot be computed using standard analytical or numerical methods. This forms a central issue for any statistical approach as the likelihood is an integral part of the procedure. Furthermore, such unobserved fields cannot be integrated out and the likelihood evaluation becomes a doubly intractable problem. This report gives an overview of some of the methods used in the literature to analyse such observed or unobserved random fields.

研究の動機と目的

• 離散マルコフ確率場における正規化定数の計算不能性という根本的課題に取り組み、標準的な尤度に基づく推論が困難であることを明らかにすること。
• 観測済みおよび隠れMRFの両方の文脈において、特にベイズ的枠組みにおける既存の統計的推論手法を調査・比較すること。
• ABC、疑似尤度、変分法などの近似推論手法の性能および限界をMRFの文脈で評価すること。
• 十分統計量が利用できない場合のMRFにおけるモデル選択の課題を検討し、ABCに基づく手法の一貫性と正確性を評価すること。
• 隠れMRFにおける推論に適した要約統計量およびアルゴリズムの選定に関するガイダンスを提供すること。特に最近の適応的スキームを含む。

提案手法

• エネルギー関数を介して条件付き分布とグローバルな結合分布を結ぶギブス＝マルコフ同倣をレビューするが、正規化定数の計算不能性に言及する。
• 正確な正規化定数の必要がないため、疑似尤度と変分近似を代替尤度法として用いる。
• ベイズ的MRF推論における事後分布計算のためのマルコフ連鎖モンテカルロ（MCMC）法、特にメトロポリス・ハスティングス法とギブスサンプラーを検討する。
• 尤度を必要としない方法として、要約統計量と距離のしきい値を用いた近似ベイズ計算（ABC）を詳細に説明する。
• 観測データと整合する粒子を選択するために、許容誤差しきい値と経験的分位数を用いたABCモデル選択アルゴリズムを概説する。
• 事後確率を要約統計量として用いることや、局所誤差率を用いた情報量の高い統計量の適応的選択といった、ABCの高度な技術をレビューする。

実験結果

リサーチクエスチョン

• RQ1 正規化定数が計算不能である場合、離散マルコフ確率場における統計的推論はどのように実現できるか？
• RQ2 疑似尤度、変分法、MCMCの相対的な長所と短所は、MRFの文脈でどのように評価できるか？
• RQ3 十分統計量が利用できない状況において、ABCはMRFのモデル選択で一貫性を示す条件は何か？
• RQ4 隠れMRFにおけるABCベースの推論の正確性と効率を向上させるために、要約統計量はどのように設計すべきか？
• RQ5 高次元MRFのモデル選択問題において、情報量のある要約統計量を効果的に選択する戦略は何か？

主な発見

• MRFにおける正規化定数の計算不能性は、標準的な尤度に基づく推論を不可能にするため、二重に計算不能な問題がこのようなモデルの統計的解析の中心的課題となる。
• 指数型分布族のMRFでは、十分な要約統計量を用いることでABCはモデル選択において一貫性を示すが、隠れMRFのような非指数型分布族では稀である。
• 隠れMRFでは、低次元の十分統計量が存在しないため、ABCモデル選択は要約統計量の選択に極めて敏感であり、しばしば一貫性のない結果をもたらす。
• Stoehrら（2015）の連結成分統計量を用いた手法は、適応的かつ情報量のある要約統計量の選択を可能にするが、低次元のケースに限定される。
• ランダムフォレストを用いたABC（Pudloら、2015）は、機械学習によるキャリブレーションと適応的統計量の組み合わせにより、ABCモデル選択の改善に有望な道筋を示している。
• 正規化定数の正確な計算は、再帰的アルゴリズムを用いた小規模な格子では可能であるが、指数的複雑性のため大規模システムでは計算的に不可能になる。