[논문 리뷰] MONK -- Outlier-Robust Mean Embedding Estimation by Median-of-Means

Matthieu Lerasle, Zoltán Szabó외 2명|arXiv (Cornell University)|2018. 02. 13.

Statistical Methods and Inference참고 문헌 79인용 수 13

한 줄 요약

이 논문은 중앙값의 평균 원리(median-of-means principle)를 사용하여 커널 평균 임bedding과 최대 평균 차이(MMD)에 대한 이상치에 강건한 새로운 추정기인 MONK을 제안한다. 데이터를 블록으로 분할하고 블록별로 경험적 평균을 계산한 후 이를 다시 중앙값으로 취하여, 비록 커널이 유계가 아니어도 서브-가우시안 분산 경계를 확보하고 이상치에 매우 강건한 성능을 달성한다. 또한 온건한 가정 하에 최적의 통계적 속도를 유지한다.

ABSTRACT

Mean embeddings provide an extremely flexible and powerful tool in machine learning and statistics to represent probability distributions and define a semi-metric (MMD, maximum mean discrepancy; also called N-distance or energy distance), with numerous successful applications. The representation is constructed as the expectation of the feature map defined by a kernel. As a mean, its classical empirical estimator, however, can be arbitrary severely affected even by a single outlier in case of unbounded features. To the best of our knowledge, unfortunately even the consistency of the existing few techniques trying to alleviate this serious sensitivity bottleneck is unknown. In this paper, we show how the recently emerged principle of median-of-means can be used to design estimators for kernel mean embedding and MMD with excessive resistance properties to outliers, and optimal sub-Gaussian deviation bounds under mild assumptions.

연구 동기 및 목표

• 특히 비유계 커널과 이상치 오염 상황에서 전통적인 경험적 평균 추정기의 강건성 부족 문제를 해결한다.
• U-통계량과 V-통계량과 같은 표준 추정기들이 단 한 개의 이상값에도 매우 민감하여 결과를 심각하게 왜곡하는 문제를 해결한다.
• 약한 모멘트 조건 하에 최적의 통계적 속도($N^{-1/2}$ 등)를 유지하면서도 이론적으로 탄탄한 이상치에 강건한 추정기를 설계한다.
• 무거운 尾(heavy-tailed) 또는 오염된 데이터가 존재하는 상황에서, 강건한 MMD 추정기의 일致성과 서브-가우시안 분산 경계를 처음으로 확보한다.
• 가우시안, 파레토, 그리고 실제 DNA 서열 데이터를 활용한 실험을 통해 MONK의 실용적 적용 가능성을 입증하며, 이상치가 많을 경우에 MONK이 뛰어난 성능을 보임을 보여준다.

제안 방법

• 입력 데이터를 $Q$개의 상호배타적인 블록으로 나누어 커널 평균 임베딩의 블록별 경험적 평균 추정치를 생성한다.
• 중앙값의 평균 원리를 적용하여 이러한 $Q$개의 블록별 추정치의 중앙값을 계산함으로써 극단적 값에 대한 민감도를 감소시킨다.
• 평균 임베딩 $\mu_{\mathbb{P}}$와 MMD $\|\mu_{\mathbb{P}} - \mu_{\mathbb{Q}}\|_{\mathscr{H}_K}$에 모두 중앙값의 평균 추정기를 적용하여 강건성을 확보한다.
• 모멘트 조건 하에 비록 커널이 유계가 아니어도 서브-가우시안 분산 경계를 이론적으로 확보한다.
• 두 가지 변형을 제안한다: MONK BCD(블록별 계산)와 MONK BCD-Fast(대규모 또는 비용이 큰 커널 계산에 최적화).
• 부트스트랩 기반 분위수 추정을 통한 이중표본 검정에 MONK 추정기를 통합하여 오염된 환경에서도 강건한 가설 검정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 중앙값의 평균 원리가 이상치에 강건한 커널 평균 임베딩과 MMD 추정에 효과적으로 적용될 수 있는가?
• RQ2 약한 모멘트 가정 하에 이러한 강건한 추정기의 이론적 보장—특히 서브-가우시안 분산 경계—는 무엇인가?
• RQ3 이상치 존재 상황에서 중앙값의 평균 기반 MONK 추정기의 성능은 전통적인 U-통계량과 V-통계량 추정기와 비교해 어떻게 되는가?
• RQ4 무거운 尾 또는 오염된 데이터 상황에서도 MONK이 최적의 통계적 속도($N^{-1/2}$ 등)를 유지할 수 있는가?
• RQ5 생물학적 서열 분석과 같이 비용이 큰 커널 계산이 필요한 실제 응용 분야에서 MONK의 확장성과 실용성은 어떠한가?

주요 결과

• 약한 모멘트 조건 하에 비록 커널이 유계가 아니어도 MONK는 평균 임베딩과 MMD 추정 모두에 서브-가우시안 분산 경계를 확보한다.
• 가우시안 및 파레토 분포를 대상으로 한 실험에서, 특히 이차형 및 RBF 커널 하에서 MONK은 이상치 오염 상황에서 U-통계량 기반 추정기보다 뚜렷이 뛰어난 강건성을 보였다.
• DNA 스플라이스 조인션 데이터셋에서, MONK BCD, MONK BCD-Fast, U-Stat 세 추정기 모두 EI 및 IE 사이트를 성공적으로 분류했지만, $N=766$, $Q=15$ 조건에서 MONK BCD-Fast는 U-Stat 대비 최대 2.5배 빠른 성능(32초 대비 1분 28초)을 보였다.
• MONK BCD-Fast는 높은 계산 효율성을 보이며, 스트링 서브시퀀스 커널과 같은 대규모 또는 비용이 큰 커널 응용에 적합하다.
• 중앙값의 평균 접근법은 단 한 개의 이상치가 데이터를 오염시켜도 일致성과 강건성을 유지하지만, 전통적 추정기들은 결과가 무한히 왜곡될 수 있다.
• 계층 간 및 계층 내 테스트 모두에서 MONK 기반 MMD 추정치는 안정적으로 정확한 결정 경계로 수렴하였으며, 계층 간 테스트에서는 $\widehat{\operatorname{MMD}} - \hat{q}_{1-\alpha} > 0$이고, 계층 내 테스트에서는 $< 0$로 나타나 유효한 가설 검정임을 확인하였다.