[論文レビュー] Repro Samples Method for Finite- and Large-Sample Inferences

Minge Xie, Peng Wang|arXiv (Cornell University)|Jun 13, 2022

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

本稿では、尤度フリーで有限標本・大標本における推論フレームワーク「repro samples法」を提案する。この手法は、データ生成機構を模倣することで人工的サンプルを生成し、不確実性を定量化し、有効な信頼集合を構築する。中心極限定理に依存せず、頻度的推論の保証された被覆率を達成するため、離散的・非数値的・複雑なパラメータに対しても正確な推論が可能であり、正規混合モデルのコンポーネント数の推定といった困難な問題に対して特に有効である。

ABSTRACT

This article presents a novel, general, and effective simulation-inspired approach, called {\it repro samples method}, to conduct statistical inference. The approach studies the performance of artificial samples, referred to as {\it repro samples}, obtained by mimicking the true observed sample to achieve uncertainty quantification and construct confidence sets for parameters of interest with guaranteed coverage rates. Both exact and asymptotic inferences are developed. An attractive feature of the general framework developed is that it does not rely on the large sample central limit theorem and is likelihood-free. As such, it is thus effective for complicated inference problems which we can not solve using the large sample central limit theorem. The proposed method is applicable to a wide range of problems, including many open questions where solutions were previously unavailable, for example, those involving discrete or non-numerical parameters. To reduce the large computational cost of such inference problems, we develop a unique matching scheme to obtain a data-driven candidate set. Moreover, we show the advantages of the proposed framework over the classical Neyman-Pearson framework. We demonstrate the effectiveness of the proposed approach on various models throughout the paper and provide a case study that addresses an open inference question on how to quantify the uncertainty for the unknown number of components in a normal mixture model. To evaluate the empirical performance of our repro samples method, we conduct simulations and study real data examples with comparisons to existing approaches. Although the development pertains to the settings where the large sample central limit theorem does not apply, it also has direct extensions to the cases where the central limit theorem does hold.

研究の動機と目的

• 中心極限定理が適用できない複雑な統計的問題に対して、正確で有限標本の推論手法が不足しているという点を解決すること。
• 尤度関数や大標本近似を必要としない汎用的な推論フレームワークの開発。
• 従来の手法が失敗する、例えば混合モデルのコンポーネント数のような離散的・非数値的パラメータに対して、有効な信頼集合を提供すること。
• データ駆動型の候補セットマッチングスキームを用いることで計算コストを低減しつつ、統計的妥当性を維持すること。
• ネイズンパラメータ、高次元の選択不確実性、非正則パrameter空間を含むモデルの統計的推論の範囲を拡張すること。

提案手法

• パラメータ $\theta$ と一様乱数ベクトル $\bm{U}$ を用いて、データ生成機構 $\bm{Y} = G(\theta, \bm{U})$ から人工的サンプル（以下「repro samples」と呼ぶ）を生成する。
• 観測データ $\bm{y}_{\text{obs}} = G(\theta_0, \bm{u}^{\text{rel}})$ を基準として、同じ $\bm{u}^*$ の下で対応するrepro samplesが観測データと一致するパラメータ $\theta$ の集合を定義する。
• 観測データ $\bm{y}_{\text{obs}}$ が、パラメータ $\theta$ の下でのrepro samplesの経験的分位数範囲内にあるような $\theta$ を特定することで信頼集合を構築し、被覆率を保証する。
• 全列挙を避けるために、計算コストを著しく削減するデータ駆動型の候補セットマッチングスキームを実装する。
• アルゴリズム的モデル構造 (1) 及びその拡張 (9) を活用し、微分方程式やシミュレーションベースのメカニズムで定義される複雑なモデルに対応する。
• 真のパラメータが境界上にある場合や離散的であっても、有限標本における頻度的被覆率の理論的保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 中心極限定理が適用されない状況で、どのように有効な信頼集合を構築できるか？
• RQ2 離散的・非数値的パラメータに対して、正確な有限標本被覆率を保証する尤度フリー推論フレームワークを開発できるか？
• RQ3 ネイズンパラメータや未知のコンポーネント構造を有する高次元・複雑なモデルを、どのように効率的に扱えるか？
• RQ4 repro samples法と古典的頻度的・ベイズ的・fiducial推論フレームワークとの関係は何か？
• RQ5 post-selection推論や高次元設定におけるモデル選択問題へも、この手法を拡張可能か？

主な発見

• repro samples法は、中心極限定理が成立しない場合でも、有限標本および大標本において保証された頻度的被覆率を持つ信頼集合を構築できる。
• 正規混合モデルにおける未知のコンポーネント数 $\tau_0$ の真値を、従来の手法（点推定、仮説検定、ベイズ信用区間）が頻繁に真値を逸脱し、小さい値に偏るのとは対照的に、repro samples法は真値を的確に回復する。
• 同様の問題設定において、ベイズ的手法は $\tau$ および $\bm{\mu}, \bm{\sigma}$ の事前分布の選択に極めて敏感であり、繰り返し被覆率も著しく低いが、repro samples法はそのような問題を回避する。
• データ駆動型マッチングスキームにより、計算コストを著しく削減しつつ統計的妥当性を維持でき、高次元・複雑なモデルへの実用的応用を可能にする。
• 特に離散的・非正則パラメータを有する設定では、古典的Neyman-Pearson検定よりも被覆率とロバストネスにおいて優れる。
• 離散的パラメータ、ネイズンパラメータ、シミュレーションベースのモデルを含む問題に広く適用可能であり、post-selection推論やネットワーク構造同定などにも応用可能である。