[논문 리뷰] Learning from Survey Training Samples: Rate Bounds for Horvitz-Thompson Risk Minimizers

Stéphan Clémençon, Patrice Bertail외 1명|arXiv (Cornell University)|2016. 10. 11.

Statistical Methods and Inference참고 문헌 20인용 수 8

한 줄 요약

이 논문은 불균형한 포함 확률을 가진 학습 데이터를 고려하여 경험적 리스크 최소화(Empirical Risk Minimization, ERM) 이론을 조사 샘플링에 확장한다. 이를 위해 불균형한 포함 확률을 보정하기 위해 역 포함 확률을 가중치로 사용하는 호르비츠-트로프(Horvitz-Thompson, HT) 리스크 최소화자들을 도입한다. 거부성 샘플링(rejective sampling) 하에서 HT 리스크 최소화자들의 일반화 속도는 $ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $로 보장되며, 여기서 $ \kappa_N = (n/N)/\min_i \pi_i $ 이다. 실험을 통해 샘플링 설계를 忽略할 경우 학습 성능이 심각하게 떨어짐을 확인한다.

ABSTRACT

The generalization ability of minimizers of the empirical risk in the context of binary classification has been investigated under a wide variety of complexity assumptions for the collection of classifiers over which optimization is performed. In contrast, the vast majority of the works dedicated to this issue stipulate that the training dataset used to compute the empirical risk functional is composed of i.i.d. observations. Beyond the cases where training data are drawn uniformly without replacement among a large i.i.d. sample or modelled as a realization of a weakly dependent sequence of r.v.'s, statistical guarantees when the data used to train a classifier are drawn by means of a more general sampling/survey scheme and exhibit a complex dependence structure have not been documented yet. It is the main purpose of this paper to show that the theory of empirical risk minimization can be extended to situations where statistical learning is based on survey samples and knowledge of the related inclusion probabilities. Precisely, we prove that minimizing a weighted version of the empirical risk, refered to as the Horvitz-Thompson risk (HT risk), over a class of controlled complexity lead to a rate for the excess risk of the order $O_{\mathbb{P}}((κ_N (\log N)/n)^{1/2})$ with $κ_N=(n/N)/\min_{i\leq N}π_i$, when data are sampled by means of a rejective scheme of (deterministic) size $n$ within a statistical population of cardinality $N\geq n$, a generalization of basic {\it sampling without replacement} with unequal probability weights $π_i>0$. Extension to other sampling schemes are then established by a coupling argument. Beyond theoretical results, numerical experiments are displayed in order to show the relevance of HT risk minimization and that ignoring the sampling scheme used to generate the training dataset may completely jeopardize the learning procedure.

연구 동기 및 목표

• 복잡한 조사 샘플링 설계에 의해 생성된 학습 데이터에 대해 경험적 리스크 최소화(ERM) 이론을 불균형한 포함 확률을 고려하여 확장하는 것.
• 호르비츠-트로프 가중치를 사용하여 조사 표본에서 학습된 리스크 최소화자에 대해 비점근적 일반화 경계를 수립하는 것.
• 학습 데이터에서 샘플링 설계를 忽略할 경우 학습 성능이 심각하게 떨어질 수 있음을 보여주는 것.
• 거부성 샘플링에 대한 이론적 결과가 커플링 추론을 통해 다른 샘플링 설계로 확장될 수 있음을 보여주는 것.
• 실제 조사 데이터셋을 활용한 실험을 통해 실증적 검증을 제공하는 것.

제안 방법

• 불균형한 샘플링 확률을 보정하기 위해 역 포함 확률을 가중치로 사용하는 가중치 경험 리스크 기능, 즉 호르비츠-트로프(HT) 리스크를 제안한다.
• 제약된 복잡도를 가진 분류자 클래스 위에서 ERM를 분석하며, 표준 경험 리스크 대신 HT 리스크를 최소화한다.
• 거부성 샘플링 하에서 음의 상관관계를 가진 랜덤 변수의 성질을 활용하여 일반화 경계를 유도한다. 이는 비균형 확률을 가진 무작위 추출의 일반화이다.
• 커플링 추론을 적용하여 거부성 샘플링에서 유도된 이론적 결과를 계층적 샘플링 및 레이오-삼포드 샘플링과 같은 다른 샘플링 설계로 확장한다.
• 실제 조사 데이터셋(예: incaIndiv, GJB, privacy3, privacy4)을 활용한 수치 실험을 수행하여 가중치가 부여된 학습 방법과 부여하지 않은 방법을 비교한다.
• 대규모 데이터셋에는 70% 훈련/테스트 분할을, 소규모 데이터셋에는 10겹 교차검증을 사용하며, SVM 및 CART 분류기로 예측 오차를 평가한다.

실험 결과

연구 질문

• RQ1 일반적인 조사 샘플링 설계에 의해 생성된 데이터에 대해 경험적 리스크 최소화 이론을 불균형한 포함 확률을 고려하여 확장할 수 있는가?
• RQ2 거부성 샘플링 하에서 HT 리스크 최소화자의 일반화 속도는 무엇이며, 샘플링 설계에 따라 어떻게 달라지는가?
• RQ3 샘플링 가중치를 학습 과정에서 忽略할 경우 학습 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 거부성 샘플링에 대해 유도된 이론적 경계가 계층적 샘플링 또는 레이오-삼포드 샘플링과 같은 다른 샘플링 설계로 확장될 수 있는가?
• RQ5 샘플링 메커니즘을 忽略할 경우 학습 모델의 예측 정확도는 어느 정도 떨어지는가?

주요 결과

• 거부성 샘플링 하에서 HT 리스크 최소화자의 초과 리스크는 $ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $ 이하로 경계되며, 여기서 $ \kappa_N = (n/N)/\min_i \pi_i $ 이다. 이는 비점근적 일반화 보장을 확립한다.
• 거부성 샘플링에 대한 이론적 결과는 커플링 추론을 통해 계층적 샘플링 및 레이오-삼포드 샘플링과 같은 다른 샘플링 설계로도 확장 가능하다.
• 수치 실험 결과, 샘플링 설계를 忽略한 비가중치 학습은 가중치 학습보다 예측 오차가 뚜렷이 높은 것으로 나타났다. 예를 들어, incaIndiv에서 SVM의 경우 0.19 대비 0.16이며, privacy3에서 0.52 대비 0.46이다.
• 모든 데이터셋과 모델에서 가중치 학습이 비가중치 학습보다 일관되게 뛰어나며, 특히 privacy3에서 가장 큰 성능 격차를 보였다(0.52 대비 0.46, SVM 기준).
• 포함 확률의 이질성이 높은 데이터셋에서 샘플링 가중치 忽略로 인한 성능 저하는 가장 심각하게 나타나, HT 가중치의 필요성을 확인한다.
• 결과적으로 조사 샘플링 메커니즘을 고려하지 않을 경우, 이러한 데이터로 학습된 기계학습 모델의 신뢰성과 정확도가 심각하게 훼손될 수 있음을 보여준다.