[論文レビュー] A Characterization of Mean Squared Error for Estimator with Bagging

Martin Mihelich, Charles Dognin+2 more|arXiv (Cornell University)|Aug 7, 2019

Statistical Methods and Inference参考文献 17被引用数 6

ひとこと要約

本稿は、統計的推定量におけるバギングの平均二乗誤差（MSE）に与える影響を厳密な理論的分析を行い、MSEがバギング推定量の数 $N$ に従って線形に減少することを証明している。不偏標本分散推定量のバギング下でのMSEについて、正確な解析的表現を導出し、分布の尖度が $\frac{3}{2}$ を超える場合にのみバギングがMSEを低減することを示している。これにより、尖度に依存する新たな分散推定アルゴリズムが提案された。

ABSTRACT

Bagging can significantly improve the generalization performance of unstable machine learning algorithms such as trees or neural networks. Though bagging is now widely used in practice and many empirical studies have explored its behavior, we still know little about the theoretical properties of bagged predictions. In this paper, we theoretically investigate how the bagging method can reduce the Mean Squared Error (MSE) when applied on a statistical estimator. First, we prove that for any estimator, increasing the number of bagged estimators $N$ in the average can only reduce the MSE. This intuitive result, observed empirically and discussed in the literature, has not yet been rigorously proved. Second, we focus on the standard estimator of variance called unbiased sample variance and we develop an exact analytical expression of the MSE for this estimator with bagging. This allows us to rigorously discuss the number of iterations $N$ and the batch size $m$ of the bagging method. From this expression, we state that only if the kurtosis of the distribution is greater than $\frac{3}{2}$, the MSE of the variance estimator can be reduced with bagging. This result is important because it demonstrates that for distribution with low kurtosis, bagging can only deteriorate the performance of a statistical prediction. Finally, we propose a novel general-purpose algorithm to estimate with high precision the variance of a sample.

研究の動機と目的

• バギング推定量の数 $N$ を増加させることで常にMSEが減少することを厳密に証明し、分散が $\frac{1}{N}$ に比例して減少することを示す。
• 不偏標本分散推定量のバギング下でのMSEについて、正確な解析的表現を導出する。
• バギングが分散推定量のMSEを改善するための、明確な理論的条件（尖度に基づくもの）を確立する。
• 導出された尖度条件に基づいて、高精度な分散推定を実現する新規で汎用的なアルゴリズムを提案する。
• バギング応用における $N$ およびバッチサイズ $m$ の選定に関する理論的指針を提供する。

提案手法

• 任意のバギング推定量のバイアスと分散を解析的に計算するための対称的数学的枠組みを構築する。
• この枠組みを不偏標本分散推定量に適用し、分布の四次モーメントと二次モーメントを含む、正確なMSEの表現を導出する。
• 導出されたMSEの表現を用いて、$\kappa > \frac{3}{2}$ である条件（$\kappa$ は尖度）が、バギングによるMSE低減をもたらすことを特定する。
• 尖度閾値を活用して精度を向上させる新規な分散推定アルゴリズムを提案する。
• 複数の分布に対してモンテカルロシミュレーションを実施し、理論的予測のMSE低減と尖度依存性を検証する。
• 非線形フィッティングを用いて、実験的条件下でのMSEの $O(\frac{1}{N})$ 収束レートを確認する。

実験結果

リサーチクエスチョン

• RQ1 バギング推定量の数 $N$ を増加させることで、統計的推定量のMSEは常に低減するのか？
• RQ2 不偏標本分散推定量のバギング下でのMSEについて、正確な解析的表現を導出できるか？
• RQ3 どのような分布的条件下でバギングが分散推定量のMSEを低減するのか？
• RQ4 母集団分布の尖度は、分散推定におけるバギングの有効性にどのように影響するか？
• RQ5 導出された理論的条件に基づいて、より高精度な新たな分散推定アルゴリズムを設計できるか？

主な発見

• 任意のバギング推定量のバイアスは $N$ に依存せず、分散は $\frac{1}{N}$ に比例して減少するため、MSEも線形に減少する。
• 不偏標本分散推定量に関しては、分布の尖度 $\kappa$ が $\frac{3}{2}$ を超える場合にのみ、バギングがMSEを低減する。
• $\kappa \leq \frac{3}{2}$ の場合、バギングはMSEを増加させ、低尖度の分布に対しては性能を劣化させる。
• 実験的結果から、決定木のような不安定な予測子ではMSEの $O(\frac{1}{N})$ 収束レートが確認された一方、線形回帰のような安定した予測子では改善が認められなかった。
• 正規分布、一様分布、ラダマッハ分布における実験により、バギングありとなしのMSEの理論的差が、$-2\mu_4 + 3\mu_2^2$ に基づく予測の符号と大きさと一致した。
• 調整可能な尖度を持つ独自の分布を用いた実験により、MSEの改善が $\kappa > \frac{3}{2}$ の場合にのみ発生することが確認され、10万回の試行にわたって結果が安定した。