[논문 리뷰] Robust estimation of U-statistics

Émilien Joly, Gábor Lugosi|arXiv (Cornell University)|2015. 04. 17.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 6

한 줄 요약

이 논문은 극단적으로 꼬인 꼬리 분포를 가진 커널 조건 하에서도 지수 꼬리 경계를 유지할 수 있는 U-통계량에 대한 강건한 중앙값-중합 추정기법을 제안한다. 이는 아르코네스와 진에(1993)의 고전적 결과를 일반화하며, 유한 분산 또는 $L^p$-적분 가능성을 가진 P-퇴화 커널에 대해 최적의 수렴 속도를 달성하여, 클러스터링과 같은 응용 분야에서 약한 모멘트 조건 하에서도 신뢰할 수 있는 추정을 가능하게 한다.

ABSTRACT

An important part of the legacy of Evarist Giné is his fundamental contributions to our understanding of $U$-statistics and $U$-processes. In this paper we discuss the estimation of the mean of multivariate functions in case of possibly heavy-tailed distributions. In such situations, reliable estimates of the mean cannot be obtained by usual $U$-statistics. We introduce a new estimator, based on the so-called median-of-means technique. We develop performance bounds for this new estimator that generalizes an estimate of Arcones and Giné (1993), showing that the new estimator performs, under minimal moment conditions, as well as classical $U$-statistics for bounded random variables. We discuss an application of this estimator to clustering.

연구 동기 및 목표

• 극단적으로 꼬인 분포에서 분산이 무한대이거나 꼬리 행동이 불안정할 수 있는 상황에서 고전적 U-통계량이 실패하는 문제를 해결하기 위해.
• 커널의 유한 분산 또는 $1 < p \leq 2$ 범위 내 $L^p$-적분 가능성을 가진 경우에도 농도 특성을 유지하는 강건한 U-통계량 추정기법을 개발하기 위해.
• 아르코네스와 진에(1993)의 지수 꼬리 경계를 최소한의 모멘트 가정 하에 무한대이거나 꼬인 꼬리 커널로 일반화하기 위해.
• 데이터가 꼬인 꼬리 행동을 보일 수 있는 응용 분야(예: 클러스터링)에서 신뢰할 수 있는 추정을 가능하게 하기 위해.

제안 방법

• 극단적으로 꼬인 조건 하에서도 안정화할 수 있도록 중앙값-중합 기법에 기반한 새로운 강건한 추정기법을 제안한다.
• 표본을 $B$개의 상호배타적 블록으로 나누며, 블록 크기는 $|B| \geq n / (128 \lceil \log(N/\delta) \rceil)$ 이상이 되도록 한다.
• 블록별로 계산된 U-통계량의 중앙값을 취하여 최종 추정기 $\overline{\Lambda}_{\mathcal{B}}(\mathcal{P})$를 구성함으로써 외곽치에 대한 민감도를 감소시킨다.
• Hoeffding 분해를 적용하여 U-통계량을 일차 및 이차 성분으로 분리한다: $\Lambda_n = 2L_n + M_n$.
• Chebyshev 부등식과 유니온 바운드를 활용하여 블록 중앙값의 진짜 평균에서의 이탈을 통제하며, 중앙값의 준-정규 분포 행동을 활용한다.
• 커널의 $L^p$-적분 가능성 조건 하에서 중앙값-중합 추정기의 지수 꼬리 경계를 유도하며, 고전적 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 커널의 유한 분산 또는 $L^p$-적분 가능성을 가진 조건 하에서도 지수 꼬리 경계를 유지할 수 있는 강건한 U-통계량 추정기법을 구성할 수 있는가?
• RQ2 중앙값-중합 기법은 꼬인 꼬리 데이터 존재 시 U-통계량의 강건성을 어떻게 향상시키는가?
• RQ3 아르코네스와 진에(1993)의 성능 경계는 무한대이거나 꼬인 꼬리 커널로 최소한의 모멘트 가정 하에 어느 정도까지 확장될 수 있는가?
• RQ4 최소한의 모멘트 조건 하에서 강건한 중앙값-중합 U-통계량의 최적 수렴 속도는 무엇인가?

주요 결과

• 제안된 중앙값-중합 추정기법은 커널이 유한 분산만을 가지는 경우에도 고전적 U-통계량과 유사한 지수 꼬리 경계를 달성한다.
• P-퇴화 커널의 경우, 아르코네스와 진에(1993)의 결과에 유사한 경계를 만족하며, $L^p$-적분 가능성 조건 하에서 $1 < p \leq 2$ 이면 속도 $O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$ 를 달성한다.
• $L^p$-적분 가능성 조건 하에서 $p \in (1,2]$ 이면, 추정기법은 $O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$ 의 수렴 속도를 달성하며, 이는 유한 커널의 최적 속도와 일치한다.
• 중앙값-중합 접근법은 꼬인 꼬리 분포에 대한 강건성을 보장하며, $\alpha$-스테이블 노이즈가 첨가된 클러스터링 응용에서 이를 입증하였다.
• 높은 확률로 $|\overline{\Lambda}_{\mathcal{B}}(\mathcal{P}) - \Lambda(\mathcal{P})| \leq C \sigma (W(\mathcal{P}) - W^*)^{\alpha/2} \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$ 의 이탈 경계를 달성한다.
• 클러스터링 오차에 대한 최종 경계는 $(W(\widehat{\mathcal{P}}) - W^*)^{1 - \alpha/2} \leq 2K\sigma \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$ 를 만족하며, 이는 약한 모멘트 조건 하에서도 일致성을 증명한다.