[논문 리뷰] Robust Kernel Density Estimation with Median-of-Means principle

Pierre Humbert, Batiste Le Bars외 2명|arXiv (Cornell University)|2020. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 8

한 줄 요약

이 논문은 일반적인 이상치 프레임워크($\mathcal{O}\cup\mathcal{I}$) 하에서 $L_\infty$-노름에서 유한표본 오차 한계를 고확률적으로 확보하고 $L_1$-일致성을 달성하는 동시에, 표준 KDE와 동일한 수렴 속도를 유지하면서도 기존의 강력한 추정기보다 낮은 계산 복잡도를 제공하는 강력한 커널 밀도 추정기 MoM-KDE를 제안한다.

ABSTRACT

In this paper, we introduce a robust nonparametric density estimator combining the popular Kernel Density Estimation method and the Median-of-Means principle (MoM-KDE). This estimator is shown to achieve robustness to any kind of anomalous data, even in the case of adversarial contamination. In particular, while previous works only prove consistency results under known contamination model, this work provides finite-sample high-probability error-bounds without a priori knowledge on the outliers. Finally, when compared with other robust kernel estimators, we show that MoM-KDE achieves competitive results while having significant lower computational complexity.

연구 동기 및 목표

• 임의의 이상치 오염 하에서도 통계적 성능을 유지하는 강력한 비모수 밀도 추정기를 개발하는 것.
• 이상치 분포나 오염 수준에 대한 사전 지식 없이도 $L_\infty$-노름에서의 유한표본 고확률 오차 경계를 제공하는 것.
• 이상치 분포에 대한 가정 없이도 일반적인 $\mathcal{O}\cup\mathcal{I}$ 이상치 모델 하에서 $L_1$-일치성을 달성하는 것.
• RKDE 및 SPKDE와 같은 반복적 강력한 KDE 방법보다 계산 복잡도를 낮추는 것.
• 다양한 이상치 비율과 오염 패턴 하에서 합성 및 실세계 데이터셋에서의 방법에 대한 경험적 검증을 수행하는 것.

제안 방법

• 데이터를 겹치지 않는 블록으로 분할하고, 고정된 대역폭을 사용하여 각 블록에서 KDE를 계산한다.
• 그런 다음, 블록별 KDE들에 대해 좌표별 중앙값을 적용하여 최종 MoM-KDE 추정기를 구성한다.
• 이 추정기는 중앙값의 평균 원리를 활용하여 블록 추정치에서 극단적인 값에 대한 민감도를 감소시킨다.
• 이론적 분석은 농도 부등식과 $\mathcal{O}\cup\mathcal{I}$ 프레임워크에 기반하며, $\mathcal{O}$에 대한 분포 가정 없이 내부자($\mathcal{I}$)와 이상치($\mathcal{O}$)를 분리한다.
• 대역폭은 교차검증 또는 기타 표준 방법을 통해 선택되며, 수렴 속도에 대한 이론적 보장이 있다.
• 이 방법은 반복 최적화를 피하기 때문에 RKDE 및 SPKDE와는 달리 계산적으로 효율적이다.

실험 결과

연구 질문

• RQ1 이상치 오염 모델에 대한 사전 지식 없이도 커널 밀도 추정기를 임의의 이상치 오염에 대해 강력하게 만들 수 있는가?
• RQ2 KDE에 중앙값의 평균 원리를 적용하면 $L_\infty$-노름에서의 유한표본 고확률 오차 경계를 달성할 수 있는가?
• RQ3 MoM-KDE는 이상치 존재 하에서도 표준 KDE와 동일한 수렴 속도를 달성할 수 있는가?
• RQ4 일반적인 $\mathcal{O}\cup\mathcal{I}$ 프레임워크 하에서 MoM-KDE는 $L_1$-노름에서 일치성 있는가?
• RQ5 MoM-KDE는 RKDE 및 SPKDE와 비교해 계산 복잡도와 경험적 성능 측면에서 어떻게 다른가?

주요 결과

• MoM-KDE는 이상치 분포나 오염 수준에 대한 사전 지식 없이도 $\mathcal{O}\cup\mathcal{I}$ 프레임워크 하에서 $L_\infty$-노름에서의 유한표본 고확률 오차 경계를 달성한다.
• 이상치가 없는 상황에서 MoM-KDE의 수렴 속도는 표준 KDE와 동일하며, 이는 최적의 통계적 성능을 의미한다.
• MoM-KDE는 $\mathcal{O}\cup\mathcal{I}$ 모델 하에서 $L_1$-일치성을 보이며, 오염이 존재하더라도 전역 추정 정확도를 확보한다.
• 경험적 결과는 MoM-KDE가 이상치 탐지 작업에서 RKDE 및 SPKDE를 능가하며, 특히 밀도가 높은 영역에 집중된 이상치가 있는 적대적 오염 하에서 뛰어난 성능을 보인다.
• MoM-KDE는 경쟁자들이 성능이 저하되는 고차원 데이터셋(예: Digits, $d=64$)에서도 강력한 성능을 유지하며, 차원에 대한 강건성을 보여준다.
• MoM-KDE는 RKDE 및 SPKDE와 같은 반복적 강력 추정기보다 계산 복잡도가 낮아 더 큰 데이터셋에 스케일업하기에 적합하다.