[논문 리뷰] Survey schemes for stochastic gradient descent with applications to M-estimation

Stéphan Clémençon, Patrice Bertail외 2명|arXiv (Cornell University)|2015. 01. 09.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 대규모 M-추정에서 확률적 경사 하강법(SGD)에 대해 조사 샘플링 설계에서의 비균일 포함 확률을 고려한 Horvitz-Thompson 경사 추정기 방법을 제안한다. 보조 정보를 활용해 최적의 샘플링 확률를 부여함으로써 계산 복잡도를 증가시키지 않으면서 점근적 분산을 크게 감소시켜, 균일한 부분 샘플링보다 높은 통계적 정확도를 달성한다.

ABSTRACT

In certain situations that shall be undoubtedly more and more common in the Big Data era, the datasets available are so massive that computing statistics over the full sample is hardly feasible, if not unfeasible. A natural approach in this context consists in using survey schemes and substituting the "full data" statistics with their counterparts based on the resulting random samples, of manageable size. It is the main purpose of this paper to investigate the impact of survey sampling with unequal inclusion probabilities on stochastic gradient descent-based M-estimation methods in large-scale statistical and machine-learning problems. Precisely, we prove that, in presence of some a priori information, one may significantly increase asymptotic accuracy when choosing appropriate first order inclusion probabilities, without affecting complexity. These striking results are described here by limit theorems and are also illustrated by numerical experiments.

연구 동기 및 목표

• 빅 데이터 환경에서 전체 데이터 M-추정의 계산 비용 문제를 해결하기 위해 조사 샘플링을 활용해 데이터 크기를 줄이는 것.
• 조사 샘플링에서의 비균일 포함 확률이 SGD 기반 M-추정기의 점근적 효율성에 미치는 영향을 조사하는 것.
• 보조 정보에 기반한 최적의 샘플링 설계가 계산 비용을 증가시키지 않으면서도 점근적 분산을 극적으로 감소시킬 수 있음을 보여주는 것.
• 일반적인 샘플링 설계 하에서 제안된 Horvitz-Thompson SGD 추정기의 이론적 일致성과 점근적 정규성을 확립하는 것.
• 로지스틱 회귀와 추가 정보를 활용한 반모수적 이동 모델을 통해 제안 방법을 실증적으로 검증하는 것.

제안 방법

• 비균일 포함 확률에 기반한 역확률 가중치를 사용해 경사 추정치를 보정하는 Horvitz-Thompson 경사 추정기(HTGD)를 도입한다.
• HTGD 추정기를 M-추정을 위한 반복적 SGD 프레임워크에 적용하여, 정규 조건 하에서 일관성과 점근적 정규성을 보장한다.
• 한계 정리들을 유도하여, 포함 확률가 경사의 노름에 비례할 경우 점근적 분산이 최소화됨을 보여주며, 보조 정보를 활용함을 증명한다.
• 포아송 샘플링 설계를 표준 사례로 분석하여, 균일 샘플링 대비 비균일 확률이 분산 감소에 기여함을 보여준다.
• 수렴 속도의 경계를 확립하여, 강한 볼록성과 스텝 사이즈 조건 하에서 HTGD 알고리즘이 $ O(t^{- heta}) $ 의 평균 제곱 오차 감쇠 속도를 가지며 $ \theta \in (1/2,1] $ 임을 보여준다.
• 각 샘플이 포함 확률의 역수 비례로 기여하는 Horvitz-Thompson 추정기를 경사에 적용하여, 샘플링 설계 하에서 비편향성을 확보한다.

실험 결과

연구 질문

• RQ1 조사를 통해 비균일 포함 확률을 사용하면 M-추정에서 확률적 경사 하강법의 점근적 효율성이 향상될 수 있는가?
• RQ2 포함 확률의 선택이 HTGD 추정기의 점근적 분산에 어떤 영향을 미치는가?
• RQ3 보조 정보를 활용해 계산 복잡도를 증가시키지 않으면서도 분산을 감소시킬 수 있는 샘플링 설계를 만들 수 있는가?
• RQ4 일반적인 샘플링 설계 하에서 HTGD 알고리즘의 이론적 수렴 성질은 어떠한가?
• RQ5 HTGD 방법은 균일한 부분 샘플링에 비해 통계적 정확도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• 보조 정보를 활용해 포함 확률를 경사의 노름에 비례하도록 선택할 경우, HTGD 추정기의 점근적 분산을 극적으로 감소시킬 수 있다.
• 분산 감소는 점근적 공분산 행렬의 힐버트-슈미트 노름의 차이로 정량화되며, 이는 기울기 노름과 샘플링 확률에 의존하는 감소 항 $ c_N( heta^*)/N_0 $ 으로 표현된다.
• 포아송 샘플링의 경우, 최적의 포함 확률는 $ ||Q\nabla_\theta\psi(Z_i,\theta^*)|| $ 에 비례하며, 이는 균일 샘플링 대비 상당한 분산 감소를 이끈다.
• HTGD 알고리즘은 강한 볼록성과 유한한 기울기 분산 조건 하에서 $ O(t^{-\alpha}) $ 의 수렴 속도를 가지며, $ \alpha \in (1/2,1] $ 이며, $ \alpha = 1 $ 인 경우 $ \gamma(0) > 1/(2l) $ 가 필요하다.
• 이론적 분석을 통해 표준 정규 조건 하에서 첫 번째 및 두 번째 순서 포함 확률에 대해 HTGD 추정기는 일관성과 점근적 정규성을 갖는다.
• 수치 실험을 통해 최적의 샘플링을 통해 추가 정보를 통합할 경우, 로지스틱 회귀와 반모수적 이동 모델 모두에서 더 빠른 수렴과 낮은 추정 오차를 달성함을 확인하였다.