[論文レビュー] What is the distribution of the number of unique original items in a bootstrap sample?

A. Mendelson, María A. Zuluaga+2 more|arXiv (Cornell University)|Feb 18, 2016

Statistical Methods and Inference参考文献 15被引用数 5

ひとこと要約

本稿は、ブートストラップサンプルにおける一意なアイテムの分布について包括的な分析を提供し、その主要な性質を導出し、正規近似の実用的ヒューリスティックを提示している。単一カテゴリおよびマルチクラス設定の両方において、理論的漸近正規性を確立しており、アンサンブル学習やバリデーションスキームにおけるモデルの安定性の制御と予測を可能にしている。

ABSTRACT

Sampling with replacement occurs in many settings in machine learning, notably in the bagging ensemble technique and the .632+ validation scheme. The number of unique original items in a bootstrap sample can have an important role in the behaviour of prediction models learned on it. Indeed, there are uncontrived examples where duplicate items have no effect. The purpose of this report is to present the distribution of the number of unique original items in a bootstrap sample clearly and concisely, with a view to enabling other machine learning researchers to understand and control this quantity in existing and future resampling techniques. We describe the key characteristics of this distribution along with the generalisation for the case where items come from distinct categories, as in classification. In both cases we discuss the normal limit, and conduct an empirical investigation to derive a heuristic for when a normal approximation is permissible.

研究の動機と目的

• モデルの安定性と性能に重要な要因であるブートストラップサンプルにおける一意なアイテムの分布を明確にすること。
• この分布の正規近似が許容可能である状況を示す実用的ヒューリスティックを提供し、機械学習応用における使いやすさを向上させること。
• 分類問題のようにアイテムが異なるカテゴリに属するマルチクラス設定への分布の一般化。
• アンサンブル手法やバリデーションスキームにおけるブートストラップサンプルの情報含量を研究者が理解し、制御できるように支援すること。

提案手法

• インジケータ変数と組み合わせ確率を用いて、ブートストラップサンプルにおける一意なアイテムの数の正確な分布を導出する。
• 正に相関する（PNQD）列の概念と重み付き和を用いて、分布の漸近正規性を確立する。
• 実験的に導出された、カテゴリからの平均抽出回数（$\bar{a}_s$）とカテゴリサイズ（$N_s$）に基づく正規近似のヒューリスティックルールを提案する。
• 複数カテゴリの状況への拡張として、同時漸近条件の下で、各カテゴリの異なるアイテム数が多変量正規分布に収束することをモデル化する。
• エッジケースを簡素化されたオフセットルールで補正しながら、ヒューリスティックの妥当性を実証的調査で検証する。
• ブートストラップリサンプリングにおける復元抽出のモデリングの基盤として、多項分布の経験的分布を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップサンプルに含まれる元のアイテムのうち、一意なものの数の正確な分布は何か？
• RQ2 一意なアイテムの分布が正規分布で近似可能となる条件は何か？
• RQ3 分類タスクのようにアイテムが複数の明確なカテゴリに属する場合、この分布はどのように一般化されるか？
• RQ4 マルチクラスブートストラップサンプルにおける一意なアイテム数の漸近正規性の理論的根拠は何か？
• RQ5 研究者がリサンプリング技法における実用的用途において、正規近似が有効であると信頼して判断するにはどうすればよいか？

主な発見

• サイズ$A$のブートストラップサンプルから$N$個の元のアイテムを抽出する際、一意なアイテムの数の分布は、インジケータ変数と組み合わせ和を用いて閉形式で表現可能である。
• $N \to \infty$の下で、この分布は漸近的に正規分布に従い、PNQD（正に相関する）列の性質によって収束が裏付けられる。
• 正規近似のためのヒューリスティックとして、$1.4N_s^{0.67} \leq \bar{a}_s \leq 1.13(N_s - 8)^{1.19}$が提示され、これは$\bar{a}_s \geq 9$かつ$N_s \geq 14$の範囲で有効である。
• マルチクラス問題では、同時漸近条件の下で、各カテゴリの異なるアイテム数の同時分布は多変量正規分布に収束する。
• 二項分布の極限と単一カテゴリ条件の両方が満たされている場合、正規近似は最も信頼性が高く、エッジケースをオフセットで補正する簡素化されたルールが適用可能である。
• 結果として、バギングや.632+バリデーションにおいて、特にブートストラップサンプルの情報含量を制御する理論的・実用的基盤が提供される。