[논문 리뷰] A Characterization of Mean Squared Error for Estimator with Bagging

Martin Mihelich, Charles Dognin외 2명|arXiv (Cornell University)|2019. 08. 07.

Statistical Methods and Inference참고 문헌 17인용 수 6

한 줄 요약

이 논문은 통계적 추정기의 평균제곱오차(MSE)에 대한 배깅(bagging)의 영향을 엄밀한 이론적 분석을 제공하며, MSE가 배깅된 추정기 수 $N$에 따라 선형적으로 감소함을 증명한다. 비편향 표본 분산 추정기의 MSE에 대한 정확한 해석적 표현을 유도하여, 분포의 첨도(kurtosis)가 $\frac{3}{2}$를 초과할 경우에만 배깅이 MSE를 감소시킨다는 것을 보여주며, 첨도 기반의 새로운 분산 추정 알고리즘을 제안한다.

ABSTRACT

Bagging can significantly improve the generalization performance of unstable machine learning algorithms such as trees or neural networks. Though bagging is now widely used in practice and many empirical studies have explored its behavior, we still know little about the theoretical properties of bagged predictions. In this paper, we theoretically investigate how the bagging method can reduce the Mean Squared Error (MSE) when applied on a statistical estimator. First, we prove that for any estimator, increasing the number of bagged estimators $N$ in the average can only reduce the MSE. This intuitive result, observed empirically and discussed in the literature, has not yet been rigorously proved. Second, we focus on the standard estimator of variance called unbiased sample variance and we develop an exact analytical expression of the MSE for this estimator with bagging. This allows us to rigorously discuss the number of iterations $N$ and the batch size $m$ of the bagging method. From this expression, we state that only if the kurtosis of the distribution is greater than $\frac{3}{2}$, the MSE of the variance estimator can be reduced with bagging. This result is important because it demonstrates that for distribution with low kurtosis, bagging can only deteriorate the performance of a statistical prediction. Finally, we propose a novel general-purpose algorithm to estimate with high precision the variance of a sample.

연구 동기 및 목표

• 배깅된 추정기 수 $N$을 증가시킬수록 항상 MSE가 감소함을 엄밀히 증명하며, 분산이 $\frac{1}{N}$으로 감소함을 보임.
• 배깅 하에서 비편향 표본 분산 추정기의 MSE에 대한 정확한 해석적 표현을 유도함.
• 배깅이 분산 추정기의 MSE를 향상시키는 데 필요한 정확한 이론적 조건—첨도 기반 조건—을 수립함.
• 유도된 첨도 조건을 바탕으로 새로운 일반 목적의 고정밀 분산 추정 알고리즘을 제안함.
• 배깅 응용에서 $N$과 배치 크기 $m$을 선택하는 데 대한 이론적 지침을 제공함.

제안 방법

• 모든 배깅된 추정기의 편향과 분산을 해석적으로 계산하기 위한 대칭적인 수학적 프레임워크를 개발함.
• 이 프레임워크를 비편향 표본 분산 추정기에 적용하여 분포의 네 번째 모멘트와 두 번째 모멘트를 포함하는 정확한 MSE 표현식을 도출함.
• 유도된 MSE 표현식을 바탕으로 배깅 하에서 MSE 감소 조건인 $\kappa > \frac{3}{2}$를 규명함. 여기서 $\kappa$는 첨도를 의미함.
• 첨도 임계값을 활용하여 정확도를 향상시키는 새로운 분산 추정 알고리즘을 제안함.
• 다양한 분포에서 몬테카를로 시뮬레이션을 수행하여 이론적 예측의 MSE 감소 및 첨도 의존성 검증함.
• 비선형 최적화를 사용하여 실험적 결과에서 MSE의 $O(\frac{1}{N})$ 수렴 속도를 확인함.

실험 결과

연구 질문

• RQ1 배깅된 추정기 수 $N$을 증가시킬수록 통계적 추정기의 MSE가 항상 감소하는가?
• RQ2 비편향 표본 분산 추정기의 배깅 하에서 MSE에 대한 정확한 해석적 표현을 도출할 수 있는가?
• RQ3 어떤 분포 조건 하에서 배깅이 분산 추정기의 MSE를 감소시키는가?
• RQ4 기초 분포의 첨도가 분산 추정에 대한 배깅의 효과성에 어떻게 영향을 미치는가?
• RQ5 유도된 이론적 조건을 바탕으로 더 정확한 새로운 분산 추정 알고리즘을 설계할 수 있는가?

주요 결과

• 모든 배깅된 추정기의 편향은 $N$과 무관하지만, 분산은 $\frac{1}{N}$으로 선형 감소하여 이에 따라 MSE도 선형 감소함.
• 비편향 표본 분산 추정기의 경우, 배깅이 MSE를 감소시킬 조건은 분포의 첨도 $\kappa$가 $\frac{3}{2}$를 초과할 때에만 성립함.
• $\kappa \leq \frac{3}{2}$일 경우 배깅은 MSE를 증가시켜, 낮은 첨도를 가진 분포에서는 성능을 떨어뜨림.
• 실험 결과는 의사결정나무와 같이 불안정한 예측기의 경우 MSE가 $O(\frac{1}{N})$ 수렴 속도를 보임을 확인하였고, 선형 회귀와 같이 안정적인 예측기의 경우는 향상 없음.
• 정규분포, 균일분포, 라데마처 분포에서의 실험은 배깅된 추정기와 비배깅된 추정기 간의 이론적 MSE 차이를 검증하였으며, $-2\mu_4 + 3\mu_2^2$에 기반한 예측된 부호와 크기와 일치함.
• 조절 가능한 첨도를 가진 특수 분포를 사용한 실험은 배깅이 MSE 향상 효과를 가지려면 $\kappa > \frac{3}{2}$여야 하며, 10만 번의 시행 동안 결과가 안정함을 확인함.