[논문 리뷰] Nonuniform Negative Sampling and Log Odds Correction with Rare Events Data

HaiYing Wang, Aonan Zhang외 1명|arXiv (Cornell University)|2021. 10. 25.

Imbalanced Data Classification Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 희귀 사건 데이터에서 양성 인스턴스가 매우 적은 상황에서 매개변수 추정을 향상시키기 위해 로그 오즈 보정을 통한 비균일한 음성 샘플링 전략을 제안한다. 최적의 샘플링 확률을 유도하고, 샘플링 편향을 보정하는 가능도 기반 추정기를 도입함으로써, 이 방법은 가장 작은 渐近 분산을 달성하며, 역확률 가중치 방법을 능가한다. 이는 시뮬레이션 데이터와 0.3조 건 이상의 인스턴스를 포함한 실제 온라인 CTR 데이터셋에서 검증되었다.

ABSTRACT

We investigate the issue of parameter estimation with nonuniform negative sampling for imbalanced data. We first prove that, with imbalanced data, the available information about unknown parameters is only tied to the relatively small number of positive instances, which justifies the usage of negative sampling. However, if the negative instances are subsampled to the same level of the positive cases, there is information loss. To maintain more information, we derive the asymptotic distribution of a general inverse probability weighted (IPW) estimator and obtain the optimal sampling probability that minimizes its variance. To further improve the estimation efficiency over the IPW method, we propose a likelihood-based estimator by correcting log odds for the sampled data and prove that the improved estimator has the smallest asymptotic variance among a large class of estimators. It is also more robust to pilot misspecification. We validate our approach on simulated data as well as a real click-through rate dataset with more than 0.3 trillion instances, collected over a period of a month. Both theoretical and empirical results demonstrate the effectiveness of our method.

연구 동기 및 목표

• 희귀 사건 데이터에서 양성 인스턴스가 음성 인스턴스에 비해 극도로 적은 극심한 클래스 불균형 상황에서의 매개변수 추정 과제를 해결하기 위해.
• 오직 양성 인스턴스만 유지할 경우 음성 샘플링이 정보를 유지하는지 수학적으로 근거를 제시하기 위해, 추정 정확도가 渐近적으로 양성 샘플 크기만에 의존함을 보여주기 위해.
• 역확률 가중치(IPW) 추정기의 무조건적 渐近 분산을 최소화하는 최적의 비균일 음성 샘플링 확률을 유도하기 위해.
• 비균일 샘플링을 고려한 가능도 기반 추정기를 제안하여, IPW보다 더 낮은 渐近 분산을 달성하고 모형 잘못 설정에 더 강건한 성능을 보이기 위해.
• 0.3조 건 이상의 인스턴스를 포함한 실제 온라인 CTR 데이터셋에서의 검증을 통해, 이 방법이 실세계의 대규모 희귀 사건 데이터에서 우수한 성능을 유지함을 입증하기 위해.

제안 방법

• 저자들은 일반적인 이진 반응 모형 하에서 일반적인 역확률 가중치(IPW) 추정기의 渐近 분포를 유도하여, 추정 오차가 오직 양성 인스턴스의 수에 의존함을 보였다.
• IPW 추정기의 무조건적 渐近 분산을 최소화하는 음성 인스턴스에 대한 최적의 샘플링 확률을 유도하였으며, 조건부 분산 외에 데이터의 무작위성을 고려하였다.
• 비균일 샘플링을 고려하기 위해 가능도 함수 내 로그 오즈를 보정하는 가능도 기반 추정기를 제안하여, IPW 대비 효율성을 향상시켰다.
• 비균일 가중치 체계를 로그 가능도에 적용하여 샘플링 편향을 보정하고, 부분 샘플링 하에서도 일관된 매개변수 추정을 보장하였다.
• 이론적 분석을 통해 제안된 가능도 추정기가 광범위한 추정기 집합 중에서 가장 작은 渐近 분산을 가짐을 증명하였다.
• 이 방법은 0.3조 건 이상의 인스턴스를 포함한 대규모 온라인 CTR 데이터셋에 구현 및 평가되어, 확장성과 강건성 모두를 입증하였다.

실험 결과

연구 질문

• RQ1 희귀 사건 데이터에서 음성 샘플링을 정보 손실 없이 사용할 수 있는가? 어떤 조건에서 이것이 정당화되는가?
• RQ2 IPW 추정기의 渐近 분산을 최소화하는 데 최적의 비균일 음성 샘플링 확률은 무엇인가?
• RQ3 IPW의 추정 효율성을 어떻게 향상시킬 수 있으며, 로그 오즈 보정을 통한 가능도 기반 접근법이 더 낮은 분산을 달성하는가?
• RQ4 비균일 샘플링 하에서 모형 잘못 설정에 대해 제안된 가능도 추정기는 얼마나 강건한가?
• RQ5 제안된 방법은 온라인 클릭률 예측과 같은 실세계의 대규모 희귀 사건 데이터에서 여전히 뛰어난 성능을 유지하는가?

주요 결과

• 완전한 데이터 추정기와 진짜 매개변수 사이의 차이는 오직 양성 인스턴스 수에 의해 결정되는 속도로 정규분포로 수렴하며, 이는 극단적으로 강력한 음성 샘플링의 정당성을 뒷받침한다.
• 음성 인스턴스를 양성 인스턴스 수준까지 부분 샘플링할 경우 정보 손실이 발생하며, 이는 IPW 추정기의 분산 증가로 정량화된다.
• 유도된 최적의 비균일 샘플링 확률은 IPW 추정기의 무조건적 渐近 분산을 최소화하며, 균일 샘플링보다 뛰어난 성능을 보인다.
• 비균일 로그 오즈 보정을 통한 제안된 가능도 기반 추정기는 광범위한 추정기 집합 중에서 가장 낮은 渐近 분산을 달성하여 뛰어난 효율성을 보인다.
• 실제 CTR 데이터셋(0.3조 건 이상의 인스턴스 포함)에서의 실증 결과는 이 방법의 효과성과 확장성을 확인하였으며, 가능도 기반 추정기는 항상 IPW 및 기타 기준보다 뛰어난 성능을 보였다.
• 비선형 활성화 함수를 사용한 추론 실험에서 모형 잘못 설정 상황에서도 방법이 강건함을 입증하였다.