[論文レビュー] Nonparametric Inference via Bootstrapping the Debiased Estimator

Gang Cheng, Yen‐Chi Chen|arXiv (Cornell University)|Feb 22, 2017

Statistical Methods and Inference参考文献 93被引用数 3

ひとこと要約

本稿では、非パラメトリック密度推定および回帰推定における同時信頼帯を構築するための新しいブートストラップ法を提案する。この手法は、バイアス補正付きカーネル密度推定（KDE）およびバイアス補正付き局所多項式回帰推定にブートストラップを適用することで、漸近的に有効な信頼帯を構築する。主な貢献は、従来のバンド幅選択法（例：ルール・オブ・チンキング、交差検証）を用いることで、アンダースムージングやオーバースムージングの必要性を排除しつつ、全サポートにわたる一様な被覆性を維持し、バンド幅選択に対するロバスト性を向上させることである。

ABSTRACT

In this paper, we propose to construct confidence bands by bootstrapping the debiased kernel density estimator (for density estimation) and the debiased local polynomial regression estimator (for regression analysis). The idea of using a debiased estimator was recently employed by Calonico et al. (2018b) to construct a confidence interval of the density function (and regression function) at a given point by explicitly estimating stochastic variations. We extend their ideas of using the debiased estimator and further propose a bootstrap approach for constructing simultaneous confidence bands. This modified method has an advantage that we can easily choose the smoothing bandwidth from conventional bandwidth selectors and the confidence band will be asymptotically valid. We prove the validity of the bootstrap confidence band and generalize it to density level sets and inverse regression problems. Simulation studies confirm the validity of the proposed confidence bands/sets. We apply our approach to an Astronomy dataset to show its applicability

研究の動機と目的

• 非パラメトリック密度推定および回帰推定における有効な同時信頼帯を構築するという長年の課題に取り組む。
• リサンプリング手法では捉えにくい非パラメトリック推論におけるバイアス補正の難しさを克服する。
• アンダースムージングやオーバースムージングを必要とせず、従来のバンド幅選択法（例：ルール・オブ・チンキング、交差検証）を用いる方法を開発する。
• バイアス補正推定量のアプローチを多次元設定に一般化し、密度レベル集合および逆回帰問題にまで拡張する。
• 一様な被覆性を維持し、バンド幅選択にあまり敏感でない、ロバストで実用的な信頼帯構築手法を提供する。

提案手法

• Calonicoら（2018b）が提案したバイアス補正付きカーネル密度推定（KDE）およびバイアス補正付き局所多項式回帰推定を用いる。これらは、高階微分の明示的推定によりバイアスを補正する。
• 全サポートにわたる同時信頼帯を構築するために、L∞ノルムにおけるバイアス補正推定量に非パラメトリックブートストラップを適用する。
• バイアス補正推定量のバイアスが確率的変動よりも高次のオーダーにあるという事実を活用し、標準的なバンド幅選択法が漸近的に有効な推論を可能にする。
• ブートストラップ手順は、バイアス補正推定量の標本変動性を考慮し、定義域のすべての点で被覆確率が一様に維持されることを保証する。
• 同じブートストラップフレームワークをこれらの設定におけるバイアス補正推定量に適用することで、密度レベル集合および逆回帰問題への応用を拡張する。
• バンド幅選択には、KDEのためのルール・オブ・チンキングや回帰のための交差検証などの標準的な市販の手法を用い、バイアス補正のためのチューニングは不要である。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック密度関数および回帰関数に対して、全サポートにわたって一様な被覆性を維持するブートストラップベースの信頼帯を構築できるか？
• RQ2 バイアス補正推定量の使用により、信頼帯構築におけるバンド幅選択においてアンダースムージングやオーバースムージングの必要性を排除できるか？
• RQ3 本手法は、従来のアプローチ（アンダースムージング、バイアス補正）と比較して、被覆精度および信頼帯の幅においてどのように異なるか？
• RQ4 ルール・オブ・チンキングや交差検証を含む、さまざまなバンド幅選択戦略に対しても、本手法はロバストか？
• RQ5 本フレームワークは、有効な信頼集合を提供する密度レベル集合および逆回帰問題にまで一般化可能か？

主な発見

• 提案手法は、アンダースムージングやオーバースムージングを明示的に必要とせず、従来のバンド幅選択法を用いて漸近的に有効な同時信頼帯を達成する。
• シミュレーション結果から、バイアス補正付きブートストラップ法は、全モデルおよび標本サイズにわたってほぼ名目水準（例：95％）の被覆性を維持しており、バイアス補正やアンダースムージングに比べてバンド幅選択に対するロバスト性に優れていることが示された。
• 交差検証によるバンド幅を用いた場合、バイアス補正アプローチは名目水準に非常に近い実効被覆率（n=2000の際は0.98〜0.99）を達成したが、アンダースムージングやバイアス補正は、特に複雑なモデルではしばしば過小被覆となる傾向にあった。
• ルール・オブ・チンキングによるバンド幅を用いた場合、バイアス補正アプローチはアンダースムージングよりも狭い信頼帯を生成し、従来のバイアス補正よりもロバストであった。
• モデル5において、ルール・オブ・チンキングによるバンド幅を用いたバイアス補正アプローチはn=1000で96.7％の被覆率を達成した。これに対して、従来のバイアス補正は87.4％、アンダースムージングは85.8％および97.4％であった。
• 本手法は天文学データセットへの応用に成功し、実世界の非パラメトリック推論における実用的応用性を示した。