[論文レビュー] Construction of Confidence Intervals

Christoph Dalitz|arXiv (Cornell University)|Jul 10, 2018

Statistical Methods and Bayesian Inference参考文献 9被引用数 7

ひとこと要約

この技術報告書は、二項比例、平均、最尤（ML）推定量など、さまざまな推定量における信頼区間の構築手法—頻度主義的、尤度比、ベイズ的（HPD）、ブートストラップ—を包括的に比較している。モンテカルロシミュレーションによる被覆確率と区間長のトレードオフを踏まえ、割合にはウィルソン区間、平均にはt区間、滑らかなML推定量にはヘッセ行列またはジャックナイフに基づく区間、非滑らかまたは任意の推定量にはBCaブートストラップを推奨する。

ABSTRACT

Introductory texts on statistics typically only cover the classical "two sigma" confidence interval for the mean value and do not describe methods to obtain confidence intervals for other estimators. The present technical report fills this gap by first defining different methods for the construction of confidence intervals, and then by their application to a binomial proportion, the mean value, and to arbitrary estimators. Beside the frequentist approach, the likelihood ratio and the highest posterior density approach are explained. Two methods to estimate the variance of general maximum likelihood estimators are described (Hessian, Jackknife), and for arbitrary estimators the bootstrap is suggested. For three examples, the different methods are evaluated by means of Monte Carlo simulations with respect to their coverage probability and interval length. R code is given for all methods, and the practitioner obtains a guideline which method should be used in which cases.

研究の動機と目的

• 平均の古典的「2シグマルール」を超える信頼区間の構築に関する体系的ガイドラインの欠如に応えること。
• 頻度主義的、尤度比、HPD、ブートストラップといった複数の信頼区間手法を、さまざまな推定量において評価・比較すること。
• 被覆確率や区間長といった実証的性能指標に基づき、実務的推奨事項を提示すること。
• すべての手法のRコード実装を提供し、再現可能性と実務家利用を支援すること。
• モデルの複雑さや非滑らかな尤度関数がある場合に、パラメトリック手法をノンパラメトリックブートストラップよりも優先すべき状況を明確にすること。

提案手法

• 推定量、被覆確率、尤度比、後部密度といった統計的推論の基本的概念を定義する。
• 最尤推定量の標準誤差をヘッセ行列またはジャックナイフリサンプリングによって推定することで、頻度主義的手法を適用する。
• 尤度比法を用い、対数尤度が閾値（例：最大値の1/8）を超える範囲に区間を構築する。
• 非情報的事前分布を仮定したベイズ枠組みで、最高後部密度（HPD）アプローチを適用する。
• パラメトリック仮定が成り立たない場合の任意の推定量に対して、ブートストラップ法（特に基本的、百分位、BCa区間）を用いる。
• 10^6回のモンテカルロシミュレーションを実施し、二項分布、正規分布、指数分布などの異なる分布における被覆確率と平均区間長を評価する。

実験結果

リサーチクエスチョン

• RQ1 二項比例に対して、どの信頼区間手法が最も高い被覆確率を達成するか。ウィルソン区間やHPD区間と比較するとどうなるか。
• RQ2 正規分布からの標本における平均に対して、古典的t区間、ヘッセ行列に基づく区間、ジャックナイフに基づく区間は、どのように性能を発揮するか。
• RQ3 非正規分布や歪度のある分布におけるML推定量に対して、ブートストラップ区間（基本的、百分位、BCa）はパラメトリック区間と比較してどの程度の性能を示すか。
• RQ4 なぜブートストラップ法は、特に小標本の場合に名目水準よりも低い被覆確率を示すことがあるのか。
• RQ5 どのような状況でパラメトリック手法をブートストラップ手法よりも優先すべきか。推定量のバイアスは区間の被覆にどのような役割を果たすか。

主な発見

• ウィルソン区間は、p = 0または1に近い場合に標準正規近似よりも優れた被覆確率を示すため、二項比例に対して優れている。
• 正規分布の平均に対しては、古典的t区間が名目水準に最も近い被覆確率を達成し、最小限のずれを示す。
• 滑らかな対数尤度関数を持つML推定量に対しては、ヘッセ行列に基づく標準誤差が最も高い被覆確率を示し、次にジャックナイフに基づく推定が続く。
• BCaブートストラップ区間は、歪度のあるまたは非正規の設定において、基本的および百分位ブートストラップ区間を常に上回る被覆確率を示す。
• ブートストラップ法は万能的であるが、ML推定量がバイアスを有する場合（例：指数分布）には、名目水準よりも低い被覆確率を示す傾向がある。
• ヘッセ行列に基づく区間は、推定標準誤差と推定量バイアスとの相関を補償することで、やや広い区間ではあるが被覆確率を改善する。