[論文レビュー] Confidence Sets and Hypothesis Testing in a Likelihood-Free Inference Setting

Niccolò Dalmasso, Rafael Izbicki+1 more|arXiv (Cornell University)|Feb 24, 2020

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、尤度関数が不明な状況においても、頻度的仮説検定と信頼区間の構築を、確率的分類器を用いて尤度比統計量を推定する分類問題として定式化する、ACOREという尤度フリー推論手法を提案する。パrameter空間における検定統計量の滑らかさを活用することで、シミュレーション回数を削減し、有効な被覆率と高い検出力が保証され、実験的検証により正確な信頼区間と効率的な実行時間が得られている。

ABSTRACT

Parameter estimation, statistical tests and confidence sets are the cornerstones of classical statistics that allow scientists to make inferences about the underlying process that generated the observed data. A key question is whether one can still construct hypothesis tests and confidence sets with proper coverage and high power in a so-called likelihood-free inference (LFI) setting; that is, a setting where the likelihood is not explicitly known but one can forward-simulate observable data according to a stochastic model. In this paper, we present $\ exttt{ACORE}$ (Approximate Computation via Odds Ratio Estimation), a frequentist approach to LFI that first formulates the classical likelihood ratio test (LRT) as a parametrized classification problem, and then uses the equivalence of tests and confidence sets to build confidence regions for parameters of interest. We also present a goodness-of-fit procedure for checking whether the constructed tests and confidence regions are valid. $\ exttt{ACORE}$ is based on the key observation that the LRT statistic, the rejection probability of the test, and the coverage of the confidence set are conditional distribution functions which often vary smoothly as a function of the parameters of interest. Hence, instead of relying solely on samples simulated at fixed parameter settings (as is the convention in standard Monte Carlo solutions), one can leverage machine learning tools and data simulated in the neighborhood of a parameter to improve estimates of quantities of interest. We demonstrate the efficacy of $\ exttt{ACORE}$ with both theoretical and empirical results. Our implementation is available on Github.

研究の動機と目的

• 尤度関数が不明な状況においても、有効な第1種の過誤制御と高い統計的検出力を維持する頻度的推論手法の開発。
• 尤度関数が計算不能であるが前方シミュレーションが可能な状況で、適切な被覆率を持つ信頼区間の構築。
• 機械学習を用いてパrameter空間における検定統計量の滑らかさを活用し、必要なシミュレーション回数を削減。
• 構築された信頼区間の実効的被覆率と適合度を評価するための診断手法の提供。
• さまざまな分類器と互換性がある単一でモジュラーなフレームワークとして、仮説検定と信頼区間の構築を統合。

提案手法

• ACOREは、確率的分類器（例：ソフトマックス出力を持つニューラルネットワーク）を用いて尤度比統計量の近似を求める、パラメトリックな分類問題として尤度比検定（LRT）を定式化する。
• 検定統計量は、帰無仮説モデル下でのシミュレートされたデータと基準分布との間の対数オッズ比として計算され、仮説検定および信頼区間の構築が可能になる。
• 各パrameter値での繰り返しサンプリングを避けるために、シミュレートされた検定統計量に対する分位数回帰を用いて仮説検定の臨界値を推定する。
• 信頼区間の実効的被覆率は、未知のパラメータの関数として被覆確率を評価する適合度手順を用いて診断される。
• 条件付き分布関数（例：検定統計量、被覆率）の局所的滑らかさを活用することで、最小限のシミュレーションで推定効率を向上。
• ACOREはモジュラーかつ拡張可能であり、交換可能な分類器を用い、広範な尤度フリー推論パイプラインに統合可能。

実験結果

リサーチクエスチョン

• RQ1 尤度関数が明示的に与えられない尤度フリー推論設定において、有効な頻度的仮説検定と信頼区間を構築できるか？
• RQ2 機械学習分類器を用いて、尤度フリー推論において尤度比統計量を効率的に推定し、必要なシミュレーション回数を削減できるか？
• RQ3 各パラメータ値での繰り返しサンプリングを避けて、検定の臨界値をどのように推定できるか？
• RQ4 尤度フリー推論における構築された信頼区間の被覆率を実効的に評価する診断手法を開発できるか？
• RQ5 パrameter空間全体にわたる検定統計量の滑らかさが、尤度フリー推論における推定効率を向上させられるか？

主な発見

• ACOREは90%信頼区間を構築し、実効的被覆率が名目水準に近く、有効な頻度的性質を示した。
• ポisson分布およびGMMの例において、ACOREは1つの信頼区間を30秒未塔で構築でき、シミュレーションサイズに応じて効率的にスケーリングされた。
• MLPおよびQDA分類器はACOREで最も速い実行時間を達成し、ポisson例におけるB=100の全時間は12秒未塔だった。
• ACOREの実行時間性能はガウス過程補間と同等であり、両例においてCARL分類器よりも著しく高速だった。
• 仮説検定において高い検出力を達成し、期待されるサイズが小さい信頼区間が得られたことから、効率的な推論が可能であった。
• 診断モジュールは被覆率のずれを正常に検出でき、モデルの不適合や推定誤差を検出できる能力を裏付けた。