[論文レビュー] AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|May 19, 2017

Machine Learning and Algorithms参考文献 25被引用数 5

ひとこと要約

AIDE は、推論アルゴリズムを補助変数を備えた確率的モデルとして扱うことで、2つの確率的推論アルゴリズムの出力分布間の対称化されたカルバック・ライブララー（KL）ダイバージェンスをモンテカルロ推定量として提供する。これにより、SMC や変分推論などの近似推論アルゴリズムをゴールスタンダードと比較して、実用的で定量的な評価が可能となり、ヒューリスティクスでは見逃される失敗モードの検出も可能となる。

ABSTRACT

Approximate probabilistic inference algorithms are central to many fields. Examples include sequential Monte Carlo inference in robotics, variational inference in machine learning, and Markov chain Monte Carlo inference in statistics. A key problem faced by practitioners is measuring the accuracy of an approximate inference algorithm on a specific data set. This paper introduces the auxiliary inference divergence estimator (AIDE), an algorithm for measuring the accuracy of approximate inference algorithms. AIDE is based on the observation that inference algorithms can be treated as probabilistic models and the random variables used within the inference algorithm can be viewed as auxiliary variables. This view leads to a new estimator for the symmetric KL divergence between the approximating distributions of two inference algorithms. The paper illustrates application of AIDE to algorithms for inference in regression, hidden Markov, and Dirichlet process mixture models. The experiments show that AIDE captures the qualitative behavior of a broad class of inference algorithms and can detect failure modes of inference algorithms that are missed by standard heuristics.

研究の動機と目的

• 実用的で一般化された近似確率的推論アルゴリズムの精度を評価するための信頼性のあるメトリクスの欠如に対処すること。
• 近似推論アルゴリズムの出力分布がゴールスタンダード推論アルゴリズムの出力分布にどの程度近いかを測定する実用的ツールを提供すること。
• 従来のヒューリスティクス（例：対数尤度推定値やプローブ関数の期待値）では検出できない推論アルゴリズムの失敗モードを検出すること。
• 性能制約のある環境へのデプロイの前に、推論アルゴリズムの設定（例：粒子数、反復回数など）をオフラインで定量的に評価することを可能にすること。
• 推論アルゴリズムにおける補助変数に対するメタ推論のフレームワークを確立し、多様な推論パラダイムにわたるダイバージェンス推定を可能にすること。

提案手法

• 内部の確率的選択を潜在（補助）変数として扱うことで、推論アルゴリズムを生成的確率的モデルとして扱う。
• ターゲットまたはゴールスタンダード推論アルゴリズムが使用する補助変数の推論を実行するメタ推論アルゴリズムを定義する。
• 2つの推論アルゴリズムの補助変数の共同推論を用いて、それらの出力分布間の対称化KLダイバージェンスのモンテカルロ推定量を構築する。
• SMCベースの手法に対して、一般化された条件付きSMC更新を標準的なメタ推論アルゴリズムとして用いる。
• Meta-inference の実行回数を増やしながら収束をモニタリングしつつ、ゴールスタンダードと比較してSMC、変分推論、MCMCアルゴリズムの推定を実施する。
• ゴールスタンダードが正確に後方分布を反映していない場合でも、近似と真の後方分布との間のダイバージェンスを推定するためのフレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 ゴールスタンダードに対して近似推論アルゴリズムの精度を定量化する一般化可能で実用的なメトリクスを開発することは可能か？
• RQ2 正確な後方分布の計算を必要とせずに、推論アルゴリズム出力間の対称化KLダイバージェンスをどのように推定できるか？
• RQ3 AIDE は、従来のヒューリスティクス（例：対数尤度やプローブ関数の期待値）では検出できない推論アルゴリズムの失敗モードをどの程度検出できるか？
• RQ4 MCMCサンプラーへのAIDEの適用における制限は何であり、なぜ現在ではMCMC収束診断には実用的でないのか？
• RQ5 AIDE の正確さは、補助変数推論に用いられるメタ推論アルゴリズムの品質にどの程度依存するか？

主な発見

• AIDE は、SMC推論アルゴリズムとゴールスタンダードとの間の対称化KLダイバージェンスを成功裏に推定し、期待通りに推定値がゼロに収束することが確認された。
• 変分推論の場合は、AIDE の推定値が、変分族の固有の近似誤差を反映して非ゼロの漸近値に収束することが確認された。
• MCMCの実験では、AIDE は真の後方分布からのダイバージェンスを期待値として過大評価しており、非アニールドサンプラーではメタ推論が不正確であるためバイアスが生じていることが示された。
• AIDE は、従来の対数尤度ヒューリスティクスではペナルティが与えられない、後方分布のモードを欠落させるような推論アルゴリズムの失敗モードを検出できた。
• 実際の銀河速度データセットにおいて、AIDE はSMCゴールスタンダードと比較して、ディリクレ過程混合モデルのSMCベース推論を成功裏に評価した。
• AIDE は、性能制約のあるアプリケーション（例：確率的ロボット工学）へのデプロイに自信を持って利用できる、オフラインでの推論アルゴリズム設定評価の実用的フレームワークを提供した。