[論文レビュー] Calibrated Percentile Double Bootstrap For Robust Linear Regression Inference

Daniel McCarthy, Kai Zhang+5 more|arXiv (Cornell University)|Nov 1, 2015

Statistical Methods and Inference参考文献 18被引用数 6

ひとこと要約

本稿では、モデル不適合、非線形関係、異分散性の下でロバスト線形回帰における信頼区間を構築するための、補正付き百分位二重ブートストラップ手法（perc-cal）を提案する。この手法は、被覆誤差率が O(n⁻²) である第二位の精度を達成し、従来の手法が O(n⁻¹) の誤差率に苦しむのとは対照的に、説明変数が確率的であっても、真の関係が非線形であっても顕著に改善される。

ABSTRACT

We consider inference for the parameters of a linear model when the covariates are random and the relationship between response and covariates is possibly non-linear. Conventional inference methods such as z-intervals perform poorly in these cases. We propose a double bootstrap-based calibrated percentile method, perc-cal, as a general-purpose CI method which performs very well relative to alternative methods in challenging situations such as these. The superior performance of perc-cal is demonstrated by a thorough, full-factorial design synthetic data study as well as a real data example involving the length of criminal sentences. We also provide theoretical justification for the perc-cal method under mild conditions. The method is implemented in the R package `perccal', available through CRAN and coded primarily in C++, to make it easier for practitioners to use.

研究の動機と目的

• 真の関係が非線形であり、説明変数が確率的である場合に、従来の信頼区間手法が示す不良な有限標本性能を是正すること。
• 非線形性や異分散性を含む深刻なモデル不適合下でも、正確な被覆を維持できる汎用的推論手法の開発。
• ややきつい正則性条件の下で perc-cal 法の理論的裏付けを提供し、第二位の正しさを確立すること。
• 実務家が広く利用できるように、C++ でコーディングされた R パッケージ（'perccal'）による高速で実用的な実装を提供すること。
• 合成データおよび実世界のデータを通じて、perc-cal がサンドイッチ推定量や他の標準的手法よりも被覆精度で優れていることを示すこと。

提案手法

• perc-cal 法は二重ブートストラップ手順を用いる：第一段階のブートストラップは、回帰係数の標本分布を推定するためのデータの再抽出を実行する。
• 被覆誤差を推定・補正するために、第二段階のブートストラップを用いて、ブートストラップ分布の分位数を補正する補正付き百分位アプローチを適用する。
• エッジワース展開およびハル（1992）とジェンセン（1989）の漸近理論を活用し、ブートストラップ分布におけるバイアスおよび歪度の高次補正を導出する。
• 第二段階のブートストラップを用いて被覆誤差を推定し、最終的な信頼区間が第二位の精度を達成するように、名目分位数に補正係数 ξ を求める。
• 補正ステップでは、エッジワース展開における誤差項 r₂(z) の再帰的推定を用い、第二段階のブートストラップ標本から推定される。
• 計算効率を高めるために、C++ を用いて R パッケージ 'perccal' として実装され、実世界のデータセットへの迅速な適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 真の関係が非線形であり、説明変数が確率的である場合に、二重ブートストラップに基づく信頼区間手法が、O(n⁻²) の被覆誤差を達成する第二位の精度を実現できるか？
• RQ2 モデル不適合下での経験的被覆性能に関して、perc-cal 法は z-区間、BCa、サンドイッチ推定量といった従来手法と比べてどのように差をつけるか？
• RQ3 非線形な平均関数や異分散誤差を含む多様なデータ生成メカニズムにおいて、perc-cal 法は信頼性の高い被覆を維持できるか？
• RQ4 ややきつい正則性条件の下で、perc-cal 法の改善された性能の理論的裏付けは何か？
• RQ5 C++ の高速化を活用した R パッケージを介して、計算的に効率的な perc-cal の実装を実務的応用に展開できるか？

主な発見

• perc-cal 法は、z-区間や BCa といった従来手法が示す O(n⁻¹) の誤差率とは対照的に、O(n⁻²) の被覆誤差率を達成する。
• 全要因型の合成データ研究において、非線形な平均関数や異分散性の下でも、perc-cal はサンドイッチ推定量や他の標準的手法を一貫して上回る経験的被覆性能を示した。
• 犯罪処罰に関する実データ例において、真の関係が非線形であっても、perc-cal は正確な被覆を維持するという、頑健な性能を示した。
• 理論的分析により、二重ブートストラップ補正が被覆確率における O(n⁻¹/²) の誤差項を効果的に相殺し、第二位の正しさを達成することが確認された。
• R パッケージ 'perccal' は、C++ の高速化を活用した高速な実装を提供し、最小限の計算オーバーヘッドで応用研究への実用的適用を可能にした。
• 第二位の精度と頑健な補正のおかげで、perc-cal 法は深刻なモデル不適合が生じる状況下でも信頼性が高く、広く適用可能であることが示された。