[논문 리뷰] Why resampling outperforms reweighting for correcting sampling bias with stochastic gradients

Jing An, Lexing Ying외 1명|arXiv (Cornell University)|2020. 09. 28.

Machine Learning and Algorithms참고 문헌 32인용 수 11

한 줄 요약

이 논문은 확률적 경사하강법을 사용할 때 샘플링 편향을 교정하는 데서 리샘플링이 리워팅보다 성능이 뛰어나지만, 둘 다 손실 함수 설계에서 통계적으로 동치임에도 불구하고 그 이유를 설명한다. 동역학적 안정성과 확률적 점근적 분석을 통해 저자들은 리워팅이 손실 함수의 기울기 불연속성으로 인해 SGD에서 불안정성을 유도하는 반면, 리샘플링은 안정적인 수렴을 유지함을 보여주며, 분류, 회귀, 오프-폴리시 예측 작업 전반에서 일관된 경험적 우월성이 검증된다.

ABSTRACT

A data set sampled from a certain population is biased if the subgroups of the population are sampled at proportions that are significantly different from their underlying proportions. Training machine learning models on biased data sets requires correction techniques to compensate for the bias. We consider two commonly-used techniques, resampling and reweighting, that rebalance the proportions of the subgroups to maintain the desired objective function. Though statistically equivalent, it has been observed that resampling outperforms reweighting when combined with stochastic gradient algorithms. By analyzing illustrative examples, we explain the reason behind this phenomenon using tools from dynamical stability and stochastic asymptotics. We also present experiments from regression, classification, and off-policy prediction to demonstrate that this is a general phenomenon. We argue that it is imperative to consider the objective function design and the optimization algorithm together while addressing the sampling bias.

연구 동기 및 목표

• 통계적 동치성에도 불구하고 확률적 경사하강법으로 모델을 훈련시킬 때 리샘플링이 항상 리워팅을 능가하는 경험적 관찰을 설명하는 것.
• 동역학 시스템 및 확률적 점근적 이론 도구를 활용해 이 성능 격차의 근본 원인을 분석하는 것.
• 샘플링 편향을 다룰 때 목적 함수 설계와 최적화 알고리즘을 함께 고려해야 한다는 것을 보여주는 것.
• 분류, 회귀, 오프-폴리시 예측 등 다양한 기계학습 작업에서 이론적 결과를 검증하는 것.

제안 방법

• 확률적 미분 방정식(SDE) 근사를 통해 SGD의 동역학을 분석하고, 업데이트 과정의 이동항과 분산항에 초점을 맞춘다.
• 손실 함수의 이동항의 리프시츠 연속성과 불연속성을 분석함으로써 리워팅과 리샘플링 하에서 SGD 업데이트의 안정성을 평가한다.
• 비가역적 변환을 적용하여 비연속적인 SGD 동역학을 스무스한 SDE 프레임워크로 매핑하고, 강한 근사 이론을 통해 오차 한계를 도출한다.
• 분석 결과 리워팅은 기울기의 불연속성 부근에서 불안정한 동역학을 유도하는 반면, 리샘플링은 이러한 불안정성을 피함을 확인한다.
• 다양한 학습률과 초기 조건을 사용하여 분류, 회귀, 오프-폴리시 예측에서의 합성 예제를 통해 경험적 검증을 수행한다.
• 동일한 최적화 설정 하에서 리워팅과 리샘플링 간의 수렴 궤적과 최종 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 리워팅과 리샘플링이 손실 함수 설계에서 통계적으로 동치임에도 불구하고 실무에서 왜 리샘플링이 항상 리워팅을 능가하는가?
• RQ2 비연속적인 손실 함수가 존재할 경우 리워팅과 리샘플링 간의 확률적 경사하강법의 동역학은 어떻게 다를까?
• RQ3 최적화 알고리즘이 편향 교정 기법의 효과성에 어떤 역할을 하는가?
• RQ4 성능 격차가 동역학적 안정성과 확률적 점근적 이론을 통해 설명될 수 있는가?
• RQ5 리샘플링의 관찰된 우월성은 다양한 기계학습 작업 전반에서 일반적인 현상인가?

주요 결과

• 손실 함수의 기울기가 불연속일 경우, 리샘플링은 더 뛰어난 동역학적 안정성 덕분에 SGD 기반 훈련에서 리워팅을 능가한다.
• 리워팅은 손실 함수의 기울기가 리프시츠 연속적이지 않아, 불연속점 부근에서 기우는 수렴을 유도함으로써 SGD에서 불안정성을 초래한다.
• 리샘플링은 조각별로 스무스한 최적화 지형을 유지함으로써 이러한 불안정성을 피하고, 전역 최소값으로의 더 신뢰할 수 있는 수렴을 이룬다.
• 경험적 결과는 리샘플링이 높은 학습률(예: η ≥ 0.4)에서도 안정적이고 정확한 반면, 리워팅은 발산하거나 진동함을 보여준다.
• 이 현상은 일반적이다: 리샘플링은 분류, 회귀, 오프-폴리시 예측 작업 전반에서 확률적 경사하강 최적화 하에서 리워팅을 능가한다.
• 연구는 목적 함수 설계와 최적화 알고리즘을 함께 고려해야 하며, 후자를 忽시할 경우 정확한 손실 보정에도 불구하고 참으로 참담한 성능이 초래될 수 있음을 결론 내린다.