[論文レビュー] Jackknife multiplier bootstrap: finite sample approximations to the $U$-process supremum with applications

Xiaohong Chen, Kengo Kato|arXiv (Cornell University)|Aug 9, 2017

Statistical Methods and Inference参考文献 53被引用数 5

ひとこと要約

本稿では、一般の順序の非退化Uプロセスの上界に対する有限標本近似を、古典的弱収束が成立しない状況においても可能にする、新規のジャックナイフ乗数ブートストラップ（JMB）手法を提案する。著者らは、JMBの非漸近的カップリングおよびコルモゴロフ距離の上限を確立し、高次元的・非正規的統計的問題における有効な推論を可能にする。

ABSTRACT

This paper is concerned with finite sample approximations to the supremum of a non-degenerate $U$-process of a general order indexed by a function class. We are primarily interested in situations where the function class as well as the underlying distribution change with the sample size, and the $U$-process itself is not weakly convergent as a process. Such situations arise in a variety of modern statistical problems. We first consider Gaussian approximations, namely, approximate the $U$-process supremum by the supremum of a Gaussian process, and derive coupling and Kolmogorov distance bounds. Such Gaussian approximations are, however, not often directly applicable in statistical problems since the covariance function of the approximating Gaussian process is unknown. This motivates us to study bootstrap-type approximations to the $U$-process supremum. We propose a novel jackknife multiplier bootstrap (JMB) tailored to the $U$-process, and derive coupling and Kolmogorov distance bounds for the proposed JMB method. All these results are non-asymptotic, and established under fairly general conditions on function classes and underlying distributions. Key technical tools in the proofs are new local maximal inequalities for $U$-processes, which may be useful in other problems. We also discuss applications of the general approximation results to testing for qualitative features of nonparametric functions based on generalized local $U$-processes.

研究の動機と目的

• 弱収束しない確率過程としての基礎となるプロセスにおいて、非退化Uプロセスの上界に対する有限標本近似の課題に対処すること。
• 実務において共分散関数が通常未知であるため、近似ガウス過程の共分散関数の推定を回避する必要がある、ガウス近似の限界を克服すること。
• 関数クラスおよび分布の一般条件の下で、有効な非漸近的推論を提供する、Uプロセスに特化したブートストラップ手法を開発すること。
• 提案されたジャックナイフ乗数ブートストラップ（JMB）手法の理論的保証——カップリングおよびコルモゴロフ距離の上限——を確立すること。
• 一般化局所Uプロセスを用いて、非パラメトリック回帰関数の定性的特徴（例：凹型、単調性）の検定に応用可能とする。

提案手法

• 一般の順序 r ≥ 2 のUプロセスに特化した、新規のジャックナイフ乗数ブートストラップ（JMB）手順を提案する。
• U統計量の依存構造を反映するため、ジャックナイフに基づく分散推定量を用いて、乗数ブートストラップ統計量を構築する。
• 関数クラスのエントロピーおよび複雑性を制御するための、Uプロセスにおける新しい局所的最大不等式を導出する。
• 真のUプロセス上界とJMB統計量との間の非漸近的カップリング上限を、コルモゴロフ距離の観点から確立する。
• 非パラメトリック回帰関数の定性的特徴（凹型、凸型、単調性など）の検定に、一般化局所UプロセスをJMBに適用する。
• カップリング上限を弱収束および分布近似に結びつけるために、ストラッセン＝ダドリーの定理を活用する。

実験結果

リサーチクエスチョン

• RQ1 弱収束が成立しない状況において、非退化Uプロセスの上界に対する有効な有限標本近似を提供するブートストラップ手法を開発可能か？
• RQ2 近似ガウス過程の未知の共分散関数の推定を回避できる、ブートストラップ手順をどのように構築できるか？
• RQ3 時変的または高複雑性の関数クラスを有するUプロセスに適用したブートストラップ手法に対して、非漸近的理論的保証をどのように確立できるか？
• RQ4 提案手法を、高次元的または非正規的状況下での非パラメトリック回帰関数の定性的特徴（例：凹型、単調性）の検定に応用可能か？
• RQ5 ジャックナイフ乗数ブートストラップが、広範な関数クラスおよび分布のクラスにわたって一様な近似精度を達成するための条件は何か？

主な発見

• 提案されたジャックナイフ乗数ブートストラップ（JMB）は、プロセスが弱収束しない場合でさえ、Uプロセス上界に対して非漸近的カップリングおよびコルモゴロフ距離の上限を達成する。
• 制限ガウス過程の共分散関数の知識がなくても、Uプロセス上界に対する有効な有限標本推論を提供する。
• Uプロセスにおける新しい局所的最大不等式が導出され、理論的分析の基盤的ツールとして機能する。
• JMB手法は一般化局所Uプロセスに適用可能であり、非パラメトリック回帰における凹型・単調性などの定性的特徴の検定を可能にする。
• 関数クラスおよび基礎となる分布の一般条件の下で理論的境界が確立され、関数クラスが標本サイズに依存する場合も含む。
• 結果はマルチスケール検定手順へ拡張可能であり、4.1節のバンド幅に一様な結果が、ダンゲン（2002）のランクベース検定に類似したマルチスケール推論の理論的基盤を提供する。