[논문 리뷰] On Medians of (Randomized) Pairwise Means

Pierre Laforgue, Stéphan Clémençon외 1명|arXiv (Cornell University)|2022. 11. 01.

Statistical Methods and Inference참고 문헌 17인용 수 4

한 줄 요약

이 논문은 중앙값의 평균(MoM) 프레임워크를 쌍별 학습 문제로 확장하기 위해 랜덤화된 쌍별 평균의 중앙값(MoRPM)을 도입한다. MoRPM은 무작위로 샘플링하거나 분할된 데이터 블록을 기반으로 계산된 U-통계량의 중앙값을 사용해 위험을 추정한다. 이 방법은 MoM의 강건성과 일반화 경계를 유지하면서도, 최소한의 가정 하에 순위 매기기, 클러스터링, 메트릭 학습에 적용 가능하다.

ABSTRACT

Tournament procedures, recently introduced in Lugosi & Mendelson (2016), offer an appealing alternative, from a theoretical perspective at least, to the principle of Empirical Risk Minimization in machine learning. Statistical learning by Median-of-Means (MoM) basically consists in segmenting the training data into blocks of equal size and comparing the statistical performance of every pair of candidate decision rules on each data block: that with highest performance on the majority of the blocks is declared as the winner. In the context of nonparametric regression, functions having won all their duels have been shown to outperform empirical risk minimizers w.r.t. the mean squared error under minimal assumptions, while exhibiting robustness properties. It is the purpose of this paper to extend this approach in order to address other learning problems, in particular for which the performance criterion takes the form of an expectation over pairs of observations rather than over one single observation, as may be the case in pairwise ranking, clustering or metric learning. Precisely, it is proved here that the bounds achieved by MoM are essentially conserved when the blocks are built by means of independent sampling without replacement schemes instead of a simple segmentation. These results are next extended to situations where the risk is related to a pairwise loss function and its empirical counterpart is of the form of a $U$-statistic. Beyond theoretical results guaranteeing the performance of the learning/estimation methods proposed, some numerical experiments provide empirical evidence of their relevance in practice.

연구 동기 및 목표

• 표준 회귀에서 중앙값의 평균(MoM) 접근법을 순위 매기기, 클러스터링, 메트릭 학습과 같은 쌍별 손실 함수를 포함하는 학습 문제로 확장하기.
• 결정적 분할이 아닌 독립적인 무작위로 원소를 추출하는 방식(SRSWoR)을 통해 데이터 블록을 구성할 경우 MoM의 통계적 성능을 조사하기.
• 모든 조건 하에서 중앙값의 (랜덤화된) 쌍별 평균(MoRPM) 추정기의 편차 경계와 일반화 오차에 대한 이론적 보장을 수립하기.
• 블록 크기가 랜덤하거나 변동성이 있을지라도, 무작위 블록 구성 방식에서 MoM의 강건성과 수렴 성질이 유지되는지 확인하기.
• 쌍별 학습 과제에서의 방법의 효과성을 수치 실험을 통해 실증적으로 검증하기.

제안 방법

• 독립적인 SRSWoR 또는 결정적 분할을 통해 생성된 데이터 블록을 기반으로, 중앙값의 (랜덤화된) 쌍별 평균(MoRPM)을 계산하는 새로운 추정기 도입.
• 두 번째 차수의 U-통계량을 사용해 쌍별 위험을 추정하며, 각 U-통계량은 크기가 $ B $인 블록에서 계산되며, 최종 추정치는 이러한 블록 수준의 U-통계량의 중앙값이다.
• Hoeffding의 부등식과 농도 경계를 사용해 MoRPM 추정기의 진짜 위험 $ \theta(h) $ 로부터의 편차를 제어하며, 중앙값의 외곽선에 대한 강건성을 활용한다.
• 조건부 농도 부등식과 U-통계량의 특성(특히 블록 수준의 U-통계량의 분산을 제한하는 데 중점)을 결합하여 고확률 편차 경계를 유도한다.
• 이중 단계 분석을 도입: 먼저 단일 블록의 U-통계량이 진짜 위험에서 얼마나 떨어져 있는지 확률적으로 제한하고, 그 다음으로 Hoeffding의 부등식을 사용해 왜곡된 블록 비율에 대해 중앙값의 편차를 제한한다.
• 최적의 블록 크기 $ B $ 와 블록 수 $ K $ 는 편차 경계를 최소화하도록 선택할 수 있으며, $ K \propto \log(1/\delta) $ 와 $ B \propto n/K $ 를 만족시켜 하우스도르프 경계에 가까운 농도를 확보한다.

실험 결과

연구 질문

• RQ1 중앙값의 평균(MoM) 원리가 순위 매기기나 메트릭 학습과 같이 관측 쌍의 기대값으로 정의된 위험을 포함하는 학습 문제로 확장될 수 있는가?
• RQ2 결정적 분할 대신 SRSWoR를 사용한 무작위화된 블록 구성 방식이 MoM 기반 추정기의 통계적 성능에 악영향을 미치는가?
• RQ3 일반적인 모멘트 조건 하에서 중앙값의 (랜덤화된) 쌍별 평균(MoRPM) 추정기의 유한 표본 편차 경계는 무엇인가?
• RQ4 U-통계량의 분산 성분(일차 및 이차 투영)이 MoRPM 추정기의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 위험이 두 번째 차수의 U-통계량인 경우, MoRPM 방법이 비모수적 회귀에서 표준 MoM의 일반화 오차 경계와 유사한 성능을 달성할 수 있는가?

주요 결과

• 중앙값의 (랜덤화된) 쌍별 평균(MoRPM) 추정기는 $ \sqrt{\frac{\log(1/\delta)}{n}} + \sqrt{\frac{\log^2(1/\delta)}{n^2}} $ 의 순서의 편차 경계를 확보하며, 최소한의 가정 하에 표준 MoM의 최적 비율을 재현한다.
• 블록이 SRSWoR를 통해 구성될 경우, MoRPM 추정기는 분할 기반 MoM과 동일한 고확률 편차 경계를 유지함으로써, 무작위화가 성능을 떨어뜨리지 않음을 입증한다.
• 최적의 블록 크기 $ B $ 와 블록 수 $ K $ 는 편차 경계의 주요 항 $ \sqrt{C_1 \frac{\log(1/\delta)}{n}} $ (여기서 $ C_1 = 108\sigma_1^2(h) $) 와 제2차 항 $ \sqrt{C_2 \frac{\log^2(1/\delta)}{n(2n - 9\log(1/\delta))}} $ (여기서 $ C_2 = 486\sigma_2^2(h) $) 를 포함한다.
• 이 방법은 최종 추정기가 무거운 尾비율 또는 오염된 데이터에 대해 강건함을 보장한다. 블록 수준의 U-통계량의 중앙값을 취함으로써 외곽선에 대한 민감도가 감소하기 때문이다.
• 이론적 분석은 MoRPM 추정기가 기저 손실 함수가 유계가 아니어도 진짜 위험 $ \theta(h) $ 로 하우스도르프 속도로 수렴함을 확인한다.
• 수치 실험은 MoRPM의 실용적 유용성을 확인하며, 특히 데이터 오염 상황에서 메트릭 학습 및 순위 매기기 등의 쌍별 학습 과제에서 경쟁력 있는 성능을 보여준다.