[논문 리뷰] Estimating the Maximum Expected Value: An Analysis of (Nested) Cross Validation and the Maximum Sample Average

Hado van Hasselt|arXiv (Cornell University)|2013. 02. 28.

Statistical Methods and Inference참고 문헌 20인용 수 19

한 줄 요약

이 논문은 랜덤 변수의 최대 기대값을 추정하는 데 일반적으로 사용되는 두 가지 추정기인 최대 표본 평균(ME)과 교차검증(CV), 특히 내재된 교차검증(nested CV)의 편향과 분산을 분석한다. 편향이 없는 추정기가 존재하지 않음을 증명하고, ME는 체계적으로 양의 편향을 가지며, CV는 큰 음의 편향을 가질 수 있음을 보여주며, 추정기 성능이 근본적인 분포에 매우 의존함을 입증한다. 이는 일반적인 규칙이 효과적이지 않음을 의미한다.

ABSTRACT

We investigate the accuracy of the two most common estimators for the maximum expected value of a general set of random variables: a generalization of the maximum sample average, and cross validation. No unbiased estimator exists and we show that it is non-trivial to select a good estimator without knowledge about the distributions of the random variables. We investigate and bound the bias and variance of the aforementioned estimators and prove consistency. The variance of cross validation can be significantly reduced, but not without risking a large bias. The bias and variance of different variants of cross validation are shown to be very problem-dependent, and a wrong choice can lead to very inaccurate estimates.

연구 동기 및 목표

• 랜덤 변수의 최대 기대값을 추정하는 데 있어 최대 표본 평균(ME)과 교차검증(CV)의 정확도를 조사하는 것.
• ME와 CV 추정기의 편향과 분산에 대한 분포 독립적 상한을 설정하는 것.
• 최대 기대값에 대해 편향 없는 추정기가 존재하지 않으며, 이는 근본적인 분포에 대한 사전 지식 없이 좋은 추정기를 선택하는 것이 비단 단순하지 않음을 보여주는 것.
• 특히 내재된 교차검증(nested CV)을 포함한 다양한 CV 변형에서 편향과 분산 간의 상충 관계를 평가하고, 성능이 매우 문제에 따라 달라짐을 보여주는 것.
• 표준 10단계 교차검증이 종종 합리적이지만 항상 최적은 아니며, 특정 조건 하에서 개선된 성질을 가진 새로운 CV 변형을 제안하는 이론적 근거를 제공하는 것.

제안 방법

• 기본으로 사용할 수 있는 일반화된 최대 표본 평균 추정기를 제안하며, 이는 각 랜덤 변수에 대한 표본 평균의 최댓값으로 정의된다.
• 내재된 교차검증(nested CV)을 다른 추정기로 분석하며, 각 개별 평균을 추정하기 위해 CV를 적용한 후 최댓값을 선택하는 방식이다.
• Efron-Stein 부등식을 이용한 분산 상한과 Cantelli 부등식을 이용한 편향 상한을 포함한 확률 부등식을 사용하여 ME와 CV의 이론적 상한을 유도한다.
• 겹치는 폴드에서 선택 빈도에 따라 추정치를 가중하는 방식의 새로운 CV 변형을 도입하여 편향을 줄이고 분산을 통제하고자 한다.
• 수학적 증명을 통해 CV의 편향이 비음수임(보수적임)을 보여주며, 이는 ME와 달리 엄밀히 양의 편향을 가짐을 입증한다.
• 전체 기대의 법칙과 조건부 기대를 적용하여 최댓값 추정기의 기대값에 대한 상한을 유도하며, 일致성과 편향 특성을 증명한다.

실험 결과

연구 질문

• RQ1 최대 기대값을 위한 최대 표본 평균 추정기의 편향과 분산 성질은 무엇인가?
• RQ2 내재된 교차검증(nested CV)은 최대 표본 평균과 비교해 편향과 분산 측면에서 어떻게 다른가? 체계적으로 더 적은 편향을 가질 수 있는가?
• RQ3 일반적인 규칙(예: 10단계 교차검증)을 모든 설정에 적용할 수 있는가? 아니면 추정기 성능이 랜덤 변수의 근본적인 분포에 매우 의존하는가?
• RQ4 다양한 CV 변형의 편향과 분산에 대한 이론적 상한은 무엇이며, 이는 폴드 수와 표본 크기에 어떻게 의존하는가?
• RQ5 최대 표본 평균보다 더 낮은 평균 제곱 오차를 보장할 수 있는 CV 기반 추정기를 구성할 수 있는가? 어떤 조건에서 가능한가?

주요 결과

• 랜덤 변수 집합의 최대 기대값에 대해 편향 없는 추정기는 존재하지 않으며, 이는 추정기 선택이 본질적으로 어렵다는 것을 의미한다.
• 최대 표본 평균 추정기는 엄밀히 양의 편향을 가지며, 진짜 평균이 가까울수록 분산이 클수록 편향이 커진다.
• 교차검증, 특히 내재된 교차검증(nested CV)은 비음수 편향(보수적)을 가지며, 이는 높은 분산이 수반되더라도 실무에서 유리할 수 있다.
• 제안된 가중치가 부여된 CV 변형을 사용하면 교차검증의 분산을 크게 줄일 수 있지만, 적절히 튜닝되지 않으면 편향이 증가할 수 있다.
• CV 추정기의 편향과 분산은 근본적인 분포에 매우 의존하며, 한 가지 크기의 솔루션(예: 항상 10단계 교차검증 사용)은 최적이 아니다.
• 실험 결과에 따르면 내재된 교차검증은 일부 경우(예: 진짜 오차 50% vs. 추정치 54.2%)에서 진짜 최대값을 최대 4.2% 과대평가할 수 있으며, 이는 이전에 간과되었던 일반적인 편향을 보여준다.