[논문 리뷰] Estimating the Standard Error of Cross-Validation-Based Estimators of Classification Rules Performance

Waleed A. Yousef|arXiv (Cornell University)|2019. 08. 01.

Advanced Statistical Methods and Models참고 문헌 8인용 수 7

한 줄 요약

이 논문은 기존의 수학적으로 엄밀하지 않은 접근 방식에서의 교차검증(CV)-기반 분류 규칙 성능 추정기의 분산 추정 부족 문제를 해결하기 위해 영향 함수(IF)-기반의 새로운 방법을 제안한다. 비록 IF 방법이 일부 편향이 존재하지만 낮은 RMS 오차를 보이지만, 경험적 결과는 전통적인 수단적 접근 방식이 여전히 이보다 뛰어나다는 놀라운 결과를 보이며, 방법론적 상충관계와 이론적 기초에 대한 추가 연구를 촉구한다.

ABSTRACT

First, we analyze the variance of the Cross Validation (CV)-based estimators used for estimating the performance of classification rules. Second, we propose a novel estimator to estimate this variance using the Influence Function (IF) approach that had been used previously very successfully to estimate the variance of the bootstrap-based estimators. The motivation for this research is that, as the best of our knowledge, the literature lacks a rigorous method for estimating the variance of the CV-based estimators. What is available is a set of ad-hoc procedures that have no mathematical foundation since they ignore the covariance structure among dependent random variables. The conducted experiments show that the IF proposed method has small RMS error with some bias. However, surprisingly, the ad-hoc methods still work better than the IF-based method. Unfortunately, this is due to the lack of enough if compared to the bootstrap estimator. This opens the research for three points: (1) more comprehensive simulation study to clarify when the IF method win or loose; (2) more mathematical analysis to figure out why the ad-hoc methods work well; and (3) more mathematical treatment to figure out the connection between the appropriate amount of smoothness and decreasing the bias of the IF method.

연구 동기 및 목표

• 분류 규칙에서 교차검증 기반 성능 추정기의 분산을 추정하기 위한 엄밀한 수학적 프레임워크 부재 문제를 해결하기 위해.
• 이전에 부트스트랩 추정기에서 성공한 영향 함수(IF) 접근 방식을 활용해 이론적으로 탄탄한 분산 추정기 개발하기 위해.
• 이론적으로 탄탄하지 않은 수단적 접근 방식이 실제로 더 잘 작동하는 이유를 조사하기 위해.
• IF 기반 방법이 수단적 절차를 초월할 수 있는 조건을 추가 시뮬레이션과 분석을 통해 규명하기 위해.
• 추정기의 매끄러움(smoothness)과 IF 방법에서의 편향 감소 간의 관계를 개선된 정확도를 위해 탐색하기 위해.

제안 방법

• CV 기반 성능 추정기의 분산을 추정하기 위해 비모수 통계 기법인 영향 함수(IF) 접근 방식을 채택한다.
• 성능 추정을 경험적 분포의 통계 기능(functional)으로 간주함으로써, CV 기반 추정기의 영향 함수를 유도한다.
• IF를 사용해 CV 추정기의 渐近 분산을 계산하며, CV 폴드 간의 의존성 구조를 고려한다.
• IF 기반 분산 추정기를 분류 규칙에 적용하고, 시뮬레이션 연구를 통해 성능을 평가한다.
• CV 추정기 간 공분산을 忽略하는 일반적으로 사용되는 수단적 방법과 IF 기반 분산 추정기의 성능을 비교한다.
• 분산 추정기의 정확도 평가를 위해 근사제곱오차(RMS) 오차를 지표로 사용한다.

실험 결과

연구 질문

• RQ1 CV 기반 분류 규칙의 IF 기반 분산 추정기가 수단적 분산 추정 방법보다 우월하거나 劣열하는 조건은 무엇인가?
• RQ2 이론적으로 탄탄하지 않은 수단적 분산 추정 절차가 공분산 구조를 忽略함에도 불구하고, 왜 여전히 이론적으로 탄탄한 IF 방법보다 더 잘 작동하는가?
• RQ3 분류 규칙의 매끄러움 정도가 IF 기반 분산 추정기의 편향에 어떤 영향을 미치는가?
• RQ4 추정기의 매끄러움과 IF 기반 분산 추정 프레임워크에서의 편향 감소 간의 이론적 연결 고리는 무엇인가?
• RQ5 더 포괄적인 시뮬레이션 연구로 IF 방법이 유리한 상황을 명확히 할 수 있는가?

주요 결과

• 제안된 영향 함수 기반 방법은 CV 기반 성능 추정기의 분산 추정에서 낮은 근사제곱오차(RMS) 오차를 달성한다.
• 낮은 RMS 오차에도 불구하고, IF 기반 방법은 상당한 편향을 보이며, 이는 실무에서의 성능 열등성의 이유를 설명할 수 있다.
• 놀랍게도, 이론적 근거가 없는 전통적인 수단적 분산 추정 방법이 경험적 평가에서 여전히 IF 기반 방법을 능가한다.
• IF 방법의 성능 열등성은 부트스트랩 추정기 대비 영향 함수 추정이 충분히 이루어지지 않았기 때문이며, 이는 개선된 구현 또는 스무딩 필요성을 시사한다.
• 결과는 중요한 연구 격차를 드러낸다: CV 폴드 간 의존성 구조를 忽略하는 수단적 방법이 왜 잘 작동하는지에 대한 이론적 이해 부족.
• 이 연구는 IF 방법이 유리한 조건을 명확히 하기 위한 추가 시뮬레이션 연구와, 편향 감소에 있어 매끄러움의 역할을 깊이 있게 분석할 필요성을 제기한다.