[論文レビュー] Bootstrap-Based Inference for Cube Root Asymptotics

Matias D. Cattaneo, Michael Jansson+1 more|arXiv (Cornell University)|Apr 26, 2017

Statistical Methods and Inference参考文献 3被引用数 5

ひとこと要約

本稿では、標準的非パラメトリックブートストラップが失敗する立方根漸近のM推定量に対して一貫性のあるブートストラップ法を提案する。これは、基準関数を再形状させることで、ブートストラップの経験過程の平均が母集団のそれと類似するように保証する。この方法により、一貫性のある行列H₀の推定値を用いた2次平均補正が可能となり、経済学および機械学習で一般的な非ガウス的・非標準的漸近的設定において有効な推論が可能になる。

ABSTRACT

This paper proposes a valid bootstrap-based distributional approximation for M-estimators exhibiting a Chernoff (1964)-type limiting distribution. For estimators of this kind, the standard nonparametric bootstrap is inconsistent. The method proposed herein is based on the nonparametric bootstrap, but restores consistency by altering the shape of the criterion function defining the estimator whose distribution we seek to approximate. This modification leads to a generic and easy-to-implement resampling method for inference that is conceptually distinct from other available distributional approximations. We illustrate the applicability of our results with four examples in econometrics and machine learning.

研究の動機と目的

• 立方根漸近のM推定量の推論において、標準的非パラメトリックブートストラップが不一致となる問題に対処する。
• このようなモデルにおける極限分布が無限次元のずれパラメータに依存するという課題を克服する。
• チェルノフ型の極限分布においてブートストラップの一貫性を回復させる、一般的で実装が容易なリサンプリング手法を開発する。
• 非標準的収束速度を示す設定において、サブサンプリングやm-out-of-nブートストラップなどの代替手法に対する理論的裏付けのある代替手法を提供する。
• 最大スコア推定、等高密度推定、高次元分類モデルなどの応用分野における実用的推論を可能にする。

提案手法

• M推定量を定義する元の基準関数を変更し、ブートストラップの経験過程の平均が母集団の平均を近似するように保証する。
• 基準関数の2次成分の平均を、重要な行列H₀の一貫性のある推定値を用いて補正する、再形状された経験過程を導入する。
• 経験分布関数からサイズnのリサンプルを用いた非パラメトリックブートストラップを実行する。
• ブートストラップ過程の平均を母集団過程の2次形式と一致させることで、推定量のブートストラップ分布が弱収束して真の極限分布に近づくように保証する。
• argmax連続写像定理とコンパクト集合上での一様収束の位相における弱収束を活用し、漸近的有効性を確立する。
• ポラード（1989）の最大不等式を用いて、有限次元射影の確率的等連続性と条件付き弱収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 標準的非パラメトリックブートストラップが失敗する立方根漸近のM推定量に対して、一貫性のあるブートストラップを構築できるか？
• RQ2 ブートストラップ世界における経験過程が母集団過程の平均構造を模倣するように、ブートストラップをどのように修正できるか？
• RQ3 再形状されたブートストラップ基準関数が、真の極限分布への弱収束を有効にするために満たすべき条件は何か？
• RQ4 経済学および機械学習のどのモデルで、本手法が標準的ブートストラップが失敗する状況において一貫性のある推論を可能にするか？
• RQ5 既存の代替手法（サブサンプリングやm-out-of-nブートストラップなど）と比較して、有限標本における性能と実装の容易さはいかがなっているか？

主な発見

• 提案手法は、基準関数を再形状させることで、ブートストラップ経験過程の平均を母集団のそれと一致させることにより、立方根漸近のM推定量に対して一貫性を達成する。
• 行列H₀の一貫性のある推定値に依存する2次補正項により、一貫性が回復され、経験過程の2次平均を支配する。
• ブートストラップ分布は、コンパクト集合上の一様収束の位相において真の極限分布に弱収束する。これにより、有効な推論が保証される。
• 本手法は汎用的かつ実装が容易であり、H₀の一致推定値が実務で一般的に入手可能である限り、必要な条件はそれだけである。
• 確率的等連続性および有限次元射影の条件付き弱収束といった標準的正則性条件のもとで、理論的に有効である。
• 本手法は、最大スコア推定、等高密度推定、形状制約下での高次元M推定など、広範なモデルクラスに適用可能である。