[論文レビュー] Statistical Inference of Intractable Generative Models via Classification

Michael U. Gutmann, Ritabrata Dutta+2 more|arXiv (Cornell University)|Jul 18, 2014

Statistical Mechanics and Entropy被引用数 6

ひとこと要約

この論文は、シミュレートされたデータと観測データの間の二値分類タスクに統計的推論を再定式化することにより、計算が困難な生成モデルに対する尤度フリー推論フレームワークを提案する。分類精度を乖離度の指標として用いることで、尤度の明示的計算を必要とせず、分類手法の全範囲を活用して効率的かつスケーラブルな推論を可能にする。

ABSTRACT

Increasingly complex generative models are being used across the disciplines as they allow for realistic characterization of data, but a common difficulty with them is the prohibitively large computational cost to perform likelihood-based statistical inference. We consider here a likelihood-free framework where inference is done by identifying parameter values which generate simulated data adequately resembling the observed data. A major difficulty is how to measure the discrepancy between the simulated and observed data. Transforming the original problem into a problem of classifying the data into simulated versus observed, we find that classification accuracy can be used to assess the discrepancy. The complete arsenal of classification methods becomes thereby available for inference of intractable generative models.

研究の動機と目的

• 複雑な生成モデルにおける尤度ベース推論の高い計算コストに対処すること。
• 尤度が計算不能なモデルに対する、スケーラブルな尤度ベース推論の代替手法を開発すること。
• 尤度の明示的計算を伴わずに、観測データとシミュレートされたデータの乖離度を測定すること。
• 分類手法を生成モデリングにおける統計的推論のツールとして活用すること。
• 多様な計算が困難なモデルに適用可能な柔軟で汎用的なフレームワークを提供すること。

提案手法

• 推論問題を、観測データと生成モデルから得たシミュレートデータを区別する二値分類タスクに再定式化する。
• 訓練された識別器の分類精度を用いて、観測データとシミュレートデータの乖離度を定量化する。
• 高い分類精度は、シミュレートデータが観測データと容易に区別できること（つまり、適合度が悪いこと）を示すものとみなす。一方、低い精度は適合度が良いことを示す。
• ペアドデータ（観測データ vs. シミュレートデータ）を用いて分類器を訓練し、乖離度指標を推定する。
• 尤度の明示的計算を必要としない推論パイプライン（例：近似ベイズ計算や逐次モンテカルロ）に、この乖離度指標を統合する。
• 深層ニューラルネットワークやランダムフォレストなどの、任意の市販分類モデルを活用して、高次元データへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 分類精度は、尤度フリー推論における統計的乖離度の信頼できる代理指標として機能するか？
• RQ2 本手法は、従来の尤度ベースまたはABCベースの推論と比較して、精度と効率の点でどのように異なるか？
• RQ3 標準的な分類モデルを、尤度が計算不能な生成モデルのパラメータ推定にどの程度活用できるか？
• RQ4 本フレームワークは、顕著な性能低下を伴わずに高次元データに適用可能か？
• RQ5 分類器の性能と事後分布近似の質との間にどのような関係があるか？

主な発見

• 分類精度は、観測データとシミュレートデータの乖離度を正当かつ効果的に測定する手段を提供し、尤度フリー推論を可能にする。
• 本手法は、尤度の明示的計算を不要とすることで、計算オーバーヘッドを低減し、効率的な推論を実現する。
• 本フレームワークは汎用的であり、深層ニューラルネットワークや木構造ベースのモデルを含む、任意の分類モデルと組み合わせて使用可能である。
• ベンチマーク問題において、既存の尤度フリー手法と比較して競争力のある推論精度を達成する。
• 分類ベースの乖離度測定により、高次元データ環境でもスケーラブルな推論が可能になる。
• 本手法は、多様な生成モデルやデータタイプ（複雑で現実的な分布を含む）に対して、強固な性能を示す。