[논문 리뷰] Robust and Heavy-Tailed Mean Estimation Made Simple, via Regret Minimization

Samuel B. Hopkins, Jerry Li외 1명|arXiv (Cornell University)|2020. 07. 31.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 스펙트럼 샘플 재가중화라는 메타문제를 통해 고차원에서의 안정성과 무거운 尾 비례 평균 추정을 통합한다. 필터 알고리즘과 양자 엔트로피 스코링(QUE)이 리그레트 최소화를 통해 둘 다 해결할 수 있음을 보이며, 가장 빠른 알려진 방법과 동일한 런타임으로 최적의 오차율을 달성한다. 이는 분석을 단순화하고 기존 알고리즘을 블랙박스 방식으로 적용할 수 있게 한다.

ABSTRACT

We study the problem of estimating the mean of a distribution in high dimensions when either the samples are adversarially corrupted or the distribution is heavy-tailed. Recent developments in robust statistics have established efficient and (near) optimal procedures for both settings. However, the algorithms developed on each side tend to be sophisticated and do not directly transfer to the other, with many of them having ad-hoc or complicated analyses. In this paper, we provide a meta-problem and a duality theorem that lead to a new unified view on robust and heavy-tailed mean estimation in high dimensions. We show that the meta-problem can be solved either by a variant of the Filter algorithm from the recent literature on robust estimation or by the quantum entropy scoring scheme (QUE), due to Dong, Hopkins and Li (NeurIPS '19). By leveraging our duality theorem, these results translate into simple and efficient algorithms for both robust and heavy-tailed settings. Furthermore, the QUE-based procedure has run-time that matches the fastest known algorithms on both fronts. Our analysis of Filter is through the classic regret bound of the multiplicative weights update method. This connection allows us to avoid the technical complications in previous works and improve upon the run-time analysis of a gradient-descent-based algorithm for robust mean estimation by Cheng, Diakonikolas, Ge and Soltanolkotabi (ICML '20).

연구 동기 및 목표

• 고차원에서의 안정성 평균 추정과 무거운 尾 비례 평균 추정 간 공식적인 연결 고리가 부족한 문제를 해결한다.
• 양쪽 설정에서 반복 알고리즘을 분석하기 위한 원칙적인 통합 프레임워크를 제공한다.
• 리그레트 최소화와 딱두성(duality)을 활용해 필터 스타일 및 기울기 기반 알고리즘의 분석을 단순화한다.
• 두 문제에 대해 가장 빠른 알려진 알고리즘과 동일한 런타임으로 최적의 오차율을 달성한다.
• 기존 알고리즘(예: 필터, QUE)을 안정성 및 무거운 尾 비례 설정에 블랙박스 방식으로 적용할 수 있도록 한다.

제안 방법

• 스펙트럼 샘플 재가중화를 메타문제로 도입: 재가중된 공분산 행렬의 최대 고유값을 최소화하도록 샘플을 재가중한다.
• 스펙트럼 샘플 재가중화가 안정성 평균 추정과 무거운 尾 비례 평균 추정 양쪽에 연결되는 이중성 정리(duality theorem)를 증명한다.
• 다중 가중치 업데이트에서의 리그레트 경계를 활용해, 고전적 안정성 통계에서 유래한 필터 알고리즘을 메타문제에 적용한다.
• 양자 엔트로피 스코링 기법(QUE)을 활용해 반복 횟수를 거의 일정하게 유지하고 최적의 런타임을 달성한다.
• 문제 크기를 줄이면서도 농도 보장을 유지하는 버킷화 및 잘라내기 전략을 도입한다.
• 루고시-멘델슨의 구조적 렘마를 적용해 잘라낸 부분집합 내 양호한 중심점이 존재함을 보장한다.

실험 결과

연구 질문

• RQ1 안정성 평균 추정과 무거운 尾 비례 평균 추정 간 공식적인 연결 고리가 존재하는가? 이를 통해 공통의 알고리즘 솔루션을 가능하게 할 수 있는가?
• RQ2 필터와 같은 반복 알고리즘이 리그레트 최소화를 통해 엄밀하게 분석될 수 있는가? 이는 사전적 또는 복잡한 증명을 피할 수 있는가?
• RQ3 동일한 알고리즘 프레임워크로 안정성 및 무거운 尾 비례 설정 모두에서 최적의 오차율과 빠른 런타임을 달성할 수 있는가?
• RQ4 양자 엔트로피 스코링 기법(QUE)이 두 문제 모두에 대해 거의 최적의 런타임을 달성하는가?
• RQ5 리그레트 기반 기법을 활용해 기울기 강하 기반 방법의 분석을 단순화할 수 있는가?

주요 결과

• 버킷화된 평균의 잘라낸 부분집합에 필터 알고리즘을 적용할 경우, 런타임 O(k²d² + nd)로 무거운 尾 비례 평균 추정에서 최적의 서브가우시안 오차율을 달성한다.
• 양자 엔트로피 스코링(QUE) 기법은 Õ(1)회의 반복과 Õ(k²d)의 총 런타임으로 두 문제를 모두 해결하며, 가장 빠른 알려진 알고리즘과 동일한 성능을 보인다.
• 이중성 정리에 따르면, 스펙트럼 샘플 재가중화를 해결하면 온건한 조건 하에서 안정성 및 무거운 尾 비례 평균 추정 모두에 충분하다.
• 리그레트 기반 분석을 통해 이전 연구에서 복잡한 기술적 문제를 피하고, 기울기 강하 기반 안정성 평균 추정의 런타임 경계를 향상시킨다.
• 잘라낸 버킷화된 평균에 필터 및 QUE를 블랙박스 방식으로 적용할 경우, 서브가우시안 농도 조건 하에서 최적의 오차율을 고확률로 달성한다.
• 실패 확률 δ 하에서 최적의 오차율 O(rδ)를 달성하며, 무거운 尾 비례 설정에서는 rδ = Ω(√(d/n))이고, 안정성 설정에서는 ε = O(1)이다.