[논문 리뷰] A comparative study of new cross-validated bandwidth selectors for kernel density estimation

Enno Mammen, Miranda, Maria Dolores Martinez외 2명|arXiv (Cornell University)|2012. 09. 20.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 커널 밀도 추정에서 새로운 교차검증 밴드위드 선택기들을 평가하며, 간접 교차검증과 다항 및 가우시안 커널을 사용한 do-검증을 중심으로 다룬다. 이는 고차 다항 간접 커널이 간접 교차검증에서 이론적으로 성능을 향상시키지만, 실질적인 do-검증에서는 그와 같은 이론적 이점이 유지되지 않음을 발견한다. 대신 원래의 do-검증이 더 낮은 편향을 지니고 있어 유한 표본에서 조합 추정기와 플러그인 방법을 포함한 모든 방법보다 뛰어나다.

ABSTRACT

Recent contributions to kernel smoothing show that the performance of cross-validated bandwidth selectors improve significantly from indirectness. Indirect crossvalidation first estimates the classical cross-validated bandwidth from a more rough and difficult smoothing problem than the original one and then rescales this indirect bandwidth to become a bandwidth of the original problem. The motivation for this approach comes from the observation that classical crossvalidation tends to work better when the smoothing problem is difficult. In this paper we find that the performance of indirect crossvalidation improves theoretically and practically when the polynomial order of the indirect kernel increases, with the Gaussian kernel as limiting kernel when the polynomial order goes to infinity. These theoretical and practical results support the often proposed choice of the Gaussian kernel as indirect kernel. However, for do-validation our study shows a discrepancy between asymptotic theory and practical performance. As for indirect crossvalidation, in asymptotic theory the performance of indirect do-validation improves with increasing polynomial order of the used indirect kernel. But this theoretical improvements do not carry over to practice and the original do-validation still seems to be our preferred bandwidth selector. We also consider plug-in estimation and combinations of plug-in bandwidths and crossvalidated bandwidths. These latter bandwidths do not outperform the original do-validation estimator either.

연구 동기 및 목표

• 새로운 교차검증 밴드위드 선택기, 특히 간접 교차검증과 do-검증의 성능을 커널 밀도 추정에서 평가하는 것.
• 간접 커널의 다항 차수를 높임으로써 밴드위드 선택에 이론적이고 실질적인 성능 향상이 이루어지는지 조사하는 것.
• 기존 교차검증과 최적 밴드위드를 기준으로 do-검증, 플러그인 방법, 하이브리드 추정기의 성능을 비교하는 것.
• 밴드위드 선택기의 이론적 개선이 유한 표본 설정에서 실질적인 성과로 이어지는지 여부를 판단하는 것.

제안 방법

• 연구는 더 어려운 스무딩 문제에 대해 다른 커널을 사용해 밴드위드를 먼저 선택한 후, 원래 문제에 대해 스케일링하는 간접 교차검증을 활용한다.
• 다항 차수 간접 커널과 한계 가우시안 커널을 평가하며, 이들의 이론적 성능과 유한 표본 성능을 분석한다.
• do-검증은 점점 개선된 渐近적 성질을 지닌 간접 교차검증 방법으로 적용되며, 다양한 간접 커널 차수에서의 성능을 비교한다.
• 8개의 교차검증 밴드위드(4개의 간접 커널과 4개의 do-검증 변형)와 5개의 플러그인 밴드위드를 조합하여 중앙값 추정기를 구성하고, 최종 추정치로 중앙값을 선택한다.
• 표본 크기 n = 100, 200, 500, 1000에서 여섯 가지 밀도 설계에 대해 시뮬레이션을 실시하며, 평균 통합제곱오차(MISE)와 90번째 백분위수 ISE를 성능 지표로 사용한다.
• 모든 방법의 성능은 이론적 ISE 최적 밴드위드를 기준으로 평가되며, 실질적 신뢰도를 반영하기 위해 경험적 백분위수를 활용한다.

실험 결과

연구 질문

• RQ1 간접 커널의 다항 차수를 높이면 간접 교차검증의 실질적 성능이 향상되는가?
• RQ2 고차 다항 간접 커널을 사용한 do-검증의 이론적 개선이 왜 실질적인 유한 표본 성능으로 이어지지 않는가?
• RQ3 다양한 밴드위드 선택기를 조합한 중앙값 추정기는 개별 방법 대비 안정성과 정확성 측면에서 어떻게 비교되는가?
• RQ4 플러그인 방법이나 하이브리드 추정기가 이론적 이점이 있음에도 불구하고 실질적 설정에서 원래 do-검증을 능가할 수 있는가?
• RQ5 응용적 밴드위드 선택에 있어 평균 ISE보다 90번째 백분위수 ISE가 더 관련성이 높은가?

주요 결과

• 간접 교차검증의 성능은 간접 커널의 다항 차수 증가에 따라 이론적·실질적으로 향상되며, 가우시안 커널이 최적의 극한이다.
• do-검증의 경우, 고차 다항 간접 커널이 이론적으로 개선되더라도 실질적인 성능 향상으로 이어지지 않으며, 원래 do-검증이 더 낮은 편향을 지니고 있어 더 뛰어나다.
• 8개의 교차검증 및 5개의 플러그인 밴드위드를 조합한 중앙값 추정기는 do-검증과 거의 유사한 성능를 보이지만, 단순성과 계산 효율성 측면에서 열등하다.
• 플러그인 방법은 이론적으로는 우수하지만 높은 편향을 지니며, 모든 유한 표본 성능 지표에서 do-검증에 열등하다.
• ISE의 90번째 백분위수를 성능 지표로 사용할 경우, do-검증과 중앙값 추정기가 더욱 두드러진 이점을 보이며, 이는 실용적 응용에서의 더 높은 신뢰도를 시사한다.
• 본 연구는 실질적 구현 과제, 예를 들어 편향 누적 현상이 밴드위드 선택기 설계에서 이론적 이점보다 더 큰 영향을 미칠 수 있음을 확인한다.