[논문 리뷰] Robust Kernel Density Estimation by Scaling and Projection in Hilbert Space

Robert A. Vandermeulen, Clayton Scott|arXiv (Cornell University)|2014. 11. 17.

Statistical Methods and Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 스케일링과 $L^2$ 노름에서의 투영을 통해 기존 KDE를 개선하는 강건한 비모수 밀도 추정기인 스케일링 및 투영된 커널 밀도 추정기(SPKDE)를 제안한다. 이 방법은 충격이 있는 조건 하에서 점 渐진적으로 진짜 목표 밀도를 복원하며, 오염된 기준 데이터셋에서 일관성과 뛰어난 성능을 보인다.

ABSTRACT

While robust parameter estimation has been well studied in parametric density estimation, there has been little investigation into robust density estimation in the nonparametric setting. We present a robust version of the popular kernel density estimator (KDE). As with other estimators, a robust version of the KDE is useful since sample contamination is a common issue with datasets. What "robustness" means for a nonparametric density estimate is not straightforward and is a topic we explore in this paper. To construct a robust KDE we scale the traditional KDE and project it to its nearest weighted KDE in the $L^2$ norm. This yields a scaled and projected KDE (SPKDE). Because the squared $L^2$ norm penalizes point-wise errors superlinearly this causes the weighted KDE to allocate more weight to high density regions. We demonstrate the robustness of the SPKDE with numerical experiments and a consistency result which shows that asymptotically the SPKDE recovers the uncontaminated density under sufficient conditions on the contamination.

연구 동기 및 목표

• 데이터 오염 상황에서 강건한 비모수 밀도 추정 방법의 부족을 해결하기 위해.
• 비모수 설정에서 오염된 밀도가 어떤 조건을 만족할 경우 탈오염될 수 있는지를 체계화하기 위해.
• 목표 밀도와 오염 밀도의 혼합에서 진짜 목표 밀도를 회복할 수 있는 확장 가능하고 일관된 추정기를 개발하기 위해.
• 특히 커널 밀도 추정기의 비모수 밀도 추정에서 강건성에 대한 이론적 기반을 제공하기 위해.
• 실세계 데이터셋에서 다양한 오염 수준을 가진 표준 KDE, RKDE, 그리고 rejKDE와의 비교를 통해 SPKDE의 실증적 성능을 검증하기 위해.

제안 방법

• SPKDE는 표준 커널 밀도 추정기(KDE)를 기반으로 하며, 밀도 차이를 강화하기 위해 1보다 큰 요소로 스케일링한다.
• 그 후, 스케일링된 KDE를 $L^2$ 노름에서 가장 가까운 확률 밀도 함수에 투영한다. 이는 점별 오차를 제곱으로 처벌한다.
• 이 투영은 낮은 밀도 영역에서의 무게를 높은 밀도 영역으로 재분배함으로써 오염 효과를 효과적으로 억제한다.
• 이 방법은 스케일링된 KDE에 가장 가까운 가중치가 부여된 KDE를 $L^2$ 노름에서 찾는 제약 조건이 있는 최적화 문제로 공식화된다.
• 이론적 분석은 SPKDE의 점 渐진적 극한이 관측된 밀도의 변형된 형태임을 보여주며, $f_{\text{tar}}$와 $f_{\text{con}}$에 충분한 조건이 만족될 경우 이는 진짜 목표 밀도와 동일하다.
• 이 방법은 힐버트 공간 기하학을 활용하여 출력 결과가 유효한 확률 밀도 함수임을 보장한다.

실험 결과

연구 질문

• RQ1 목표 밀도와 오염 밀도에 대해 어떤 조건을 만족할 경우 비모수 탈오염 절차가 진짜 밀도를 회복할 수 있는가?
• RQ2 오염 조건 하에서 점 渐진적으로 진짜 목표 밀도로 수렴하는 강건한 커널 밀도 추정기를 구성할 수 있는가?
• RQ3 스케일링된 KDE의 $L^2$ 투영이 표준 KDE 또는 다른 강건 추정기보다 강건성에서 어떻게 향상되는가?
• RQ4 무한 표본 설정에서 비모수 밀도를 탈오염하기 위한 공식적 프레임워크가 존재하는가?
• RQ5 실세계 데이터셋에서 오염이 존재하는 상황에서 SPKDE의 실증적 성능은 기존의 강건한 KDE 방법들에 비해 어떠한가?

주요 결과

• SPKDE는 $f_{\text{tar}}$와 $f_{\text{con}}$에 대해 충분한 조건을 만족할 경우 점 渐진적으로 진짜 목표 밀도 $f_{\text{tar}}$를 복원한다. 특히 오염이 낮은 밀도 영역에서 나타날 경우에 해당한다.
• SPKDE는 일관성 있는 추정을 달성하며, 점 渐진적 극한이 관측된 밀도의 스케일링 및 이동된 형태이며, 제안된 조건 하에서 이는 $f_{\text{tar}}$와 동일하다.
• 독일, 심장, 소나르 데이터셋에서 SPKDE는 KDE와 RKDE보다 유의미하게 낮은 로그우도 점수를 기록한다. 독일 데이터셋에서 SPKDE는 -0.48 ± 0.4를 기록했고, 소나르 데이터셋에서는 -19 ± 5를 기록하여 RKDE와 rejKDE를 능가한다.
• 링노름과 웨이브폼 데이터셋에서는 SPKDE가 각각 -14 ± 0.4와 -8.3 ± 0.3의 로그우도를 기록하며, 모든 오염 수준에서 다른 방법들과 비교해도 동등하거나 승리한다.
• 스플라이스와 갑상선 데이터셋에서는 SPKDE가 각각 34 ± 0.2와 -6.8 ± 0.2의 로그우도를 유지하며 오염에 대해 안정적인 성능을 보여 강건성을 입증한다.
• SPKDE는 고오염 기준 데이터셋에서 표준 KDE와 RKDE를 일관되게 능가하며, rejKDE는 소나르와 링노름에서 가장 열악한 성능을 보였다.