[論文レビュー] $V$-statistics and Variance Estimation

Zhengze Zhou, Lucas Mentch+1 more|arXiv (Cornell University)|Dec 2, 2019

Statistical Methods and Inference参考文献 32被引用数 6

ひとこと要約

本稿は、同等のカーネルを用いて$V$-統計量を$U$-統計量に再定式化することで、一般化された漸近的枠組みを$V$-統計量に確立する。これにより、既存の$U$-統計量理論の適用が可能となり、増大するカーネルサイズ$k_n$に対する中心極限定理が導出される。また、ランダムフォレストなどのアンサンブル手法における標本抽出とモンテカルロ誤差の両方を考慮した、より正確な分散推定器が提案される。

ABSTRACT

This paper develops a general framework for analyzing asymptotics of $V$-statistics. Previous literature on limiting distribution mainly focuses on the cases when $n o \infty$ with fixed kernel size $k$. Under some regularity conditions, we demonstrate asymptotic normality when $k$ grows with $n$ by utilizing existing results for $U$-statistics. The key in our approach lies in a mathematical reduction to $U$-statistics by designing an equivalent kernel for $V$-statistics. We also provide a unified treatment on variance estimation for both $U$- and $V$-statistics by observing connections to existing methods and proposing an empirically more accurate estimator. Ensemble methods such as random forests, where multiple base learners are trained and aggregated for prediction purposes, serve as a running example throughout the paper because they are a natural and flexible application of $V$-statistics.

研究の動機と目的

• 標本サイズ$n$とともに増大するカーネルサイズ$k_n$に対する$V$-統計量の漸近理論の欠如に応えること。固定$k$の結果を超えて拡張すること。
• 既存の$U$-統計量の漸近理論を活用できるように、同等のカーネル構成による$V$-統計量から$U$-統計量への数学的還元を厳密に行うこと。
• ランダムフォレストなどのアンサンブル手法における、標本抽出のばらつきと有限のベースラーナーによるモンテカルロ誤差の両方を考慮した、より正確な分散推定器の開発。
• $U$-統計量と$V$-統計量の両方における分散推定の統一的取り扱いを、既存の手法と接続し、バイアス低減推定器を提案すること。
• ランダムフォレストやその他のアンサンブルモデルにおいて、$V$-統計量が自然に生じる応用を通じて、枠組みの実用的妥当性を示すこと。

提案手法

• $V$-統計量の同等カーネルを構築し、それによって$U$-統計量に変換することで、ホーフディング分解とハジェク射影の適用を可能にする。
• 既存の$U$-統計量の漸近正規性結果を活用し、$k_n = o(n^{1/4})$の条件下で$V$-統計量の中心極限定理を導出する。
• アンサンブル予測の総分散を2つの成分に分解する：標本分散$\frac{k_n^2}{n}\zeta_{1,k_n}$ と モンテカルロ分散$\frac{1}{B_n}\zeta_{k_n,k_n}$。
• 両方の成分を組み合わせた分散推定器を提案し、ジャックナイフや無限小ジャックナイフなどの既存手法よりも精度を向上させる。
• バイアスを低減するために、大きなリファレンスアンサンブル（$B_n = 1000$）を用いて分散成分$\zeta_{1,k_n}$ と $\zeta_{k_n,k_n}$ を推定する。
• 合成データおよび実データを用いて推定器を実証的に検証し、推定分散と繰り返し訓練から得た実効分散を比較する。

実験結果

リサーチクエスチョン

• RQ1 カーネルサイズ$k_n$が標本サイズ$n$とともに増大する場合、古典的な固定$k$の枠組みを超えて、$V$-統計量の漸近正規性を確立できるか？
• RQ2 $V$-統計量を数学的に$U$-統計量に還元するにはどうすればよく、既存の$U$-統計量の漸近理論を活用できるか？
• RQ3 ベースラーナー数$B_n$がアンサンブル予測の分散に与える影響は何か？ そして、これを正確にモデル化するにはどうすればよいか？
• RQ4 $B_n$が小さい有限標本設定において、既存の分散推定手法（例：ジャックナイフ、無限小ジャックナイフ）はどの程度の性能を示すか？
• RQ5 アンサンブル手法における標本抽出とモンテカルロ誤差の両方のばらつき要因を考慮した、統一的かつより正確な分散推定器を開発できるか？

主な発見

• 条件$k_n = o(n^{1/4})$の下で、$V$-統計量の漸近正規性が確立され、古典的な結果が増大するカーネルサイズへと拡張された。
• 標本分散とモンテカルロ分散の両方を考慮した本稿の提案する分散推定器は、既存手法（例：ジャックナイフ、無限小ジャックナイフ）と比較して顕著にバイアスが低減されている。
• 実験的結果から、$B_n$が小さい場合、モンテカルロ分散成分$\frac{1}{B_n}\zeta_{k_n,k_n}$ が支配的であるが、$B_n$が増加するにつれて、標本分散$\frac{k_n^2}{n}\zeta_{1,k_n}$ が主な項となることが明らかになった。
• 2つの成分の和として得られた推定総分散は、さまざまな$B_n$値において、実効分散とよく一致しており、推定器の正確性が裏付けられた。
• この枠組みは、ベースラーナー数の増加に伴うランダムフォレストやその他のアンサンブルモデルにおける分散構造の変化をうまく説明できた。
• 実データ（例：Boston、diabetes、乳癌）および合成データを用いた検証により、回帰および分類の両タスクで一貫した性能を示した。