[論文レビュー] Nonuniform Negative Sampling and Log Odds Correction with Rare Events Data

HaiYing Wang, Aonan Zhang+1 more|arXiv (Cornell University)|Oct 25, 2021

Imbalanced Data Classification Techniques参考文献 36被引用数 8

ひとこと要約

本稿では、正例が極めて希少なレアイベントデータにおけるパラメータ推定を改善するため、対数オッズ補正を施した非一様なネガティブサンプリング戦略を提案する。最適なサンプリング確率を導出し、サンプリングバイアスを補正する尤度ベース推定量を導入することで、最小の漸近的分散を達成し、逆確率加重法を上回る性能を示す。シミュレートデータおよび0.3兆件のインスタンスを有する実世界のCTRデータセットにおいて検証された。

ABSTRACT

We investigate the issue of parameter estimation with nonuniform negative sampling for imbalanced data. We first prove that, with imbalanced data, the available information about unknown parameters is only tied to the relatively small number of positive instances, which justifies the usage of negative sampling. However, if the negative instances are subsampled to the same level of the positive cases, there is information loss. To maintain more information, we derive the asymptotic distribution of a general inverse probability weighted (IPW) estimator and obtain the optimal sampling probability that minimizes its variance. To further improve the estimation efficiency over the IPW method, we propose a likelihood-based estimator by correcting log odds for the sampled data and prove that the improved estimator has the smallest asymptotic variance among a large class of estimators. It is also more robust to pilot misspecification. We validate our approach on simulated data as well as a real click-through rate dataset with more than 0.3 trillion instances, collected over a period of a month. Both theoretical and empirical results demonstrate the effectiveness of our method.

研究の動機と目的

• 正例が負例に比べて極めて希少な、極端なクラス不均衡を示すレアイベントデータにおけるパラメータ推定の課題に対処すること。
• 正例のみを保持する場合にネガティブサンプリングが情報損失を伴わないことを正当化すること。その根拠として、推定精度が漸近的に正例のサンプル数にのみ依存することを示す。
• 逆確率加重（IPW）推定量の無条件漸近的分散を最小化する最適な非一様ネガティブサンプリング確率を導出すること。
• 非一様サンプリングを補正するための尤度ベース推定量を提案し、IPWよりも低い漸近的分散を達成するとともに、モデル不適合に対してよりロバストであること。
• 本手法を、シミュレートデータおよび0.3兆件を超えるインスタンスを有する実世界のオンラインCTRデータセットにおいて検証すること。

提案手法

• 著者らは、一般の二値応答モデルにおける一般逆確率加重（IPW）推定量の漸近的分布を導出し、推定誤差が正例の数にのみ依存することを示した。
• IPW推定量の無条件漸近的分散を最小化するための最適なネガティブサンプリング確率を導出し、条件付き分散を超えるデータのランダムネスを考慮した。
• 非一様サンプリングを補正するため、尤度関数内の対数オッズを補正する尤度ベース推定量を提案し、IPWより高い効率性を実現した。
• 非一様重み付けを対数尤度に適用して、サブサンプリング下でも一貫性のあるパラメータ推定を保証する。
• 理論的分析により、提案された尤度推定量が広い推定量のクラスの中で最小の漸近的分散を持つことを証明した。
• 本手法は、0.3兆件を超えるインスタンスを有する大規模なオンラインCTRデータセットに実装・評価され、スケーラビリティとロバストネスを示した。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプリングは、レアイベントデータにおいて情報損失なしに利用可能か。その根拠は何か？
• RQ2 IPW推定量の漸近的分散を最小化するための最適な非一様ネガティブサンプリング確率は何か？
• RQ3 IPWの推定効率をどのように向上させられるか。また、対数オッズ補正を施した尤度ベースアプローチは、より低い分散を達成するか？
• RQ4 非一様サンプリング下で、提案された尤度推定量はモデル不適合に対してどの程度ロバストか？
• RQ5 本手法は、オンラインクリックスルーレート予測のような実世界の大規模レアイベントデータにおいて、優れた性能を維持するか？

主な発見

• 完全データ推定量と真のパラメータとの差が、正例の数にのみ依存するレートで正規分布に収束することを示し、積極的なネガティブサンプリングの正当性を裏付けた。
• ネガティブサンプルを正例の水準までサブサンプリングすると、情報損失が生じ、IPW推定量における分散の増大として定量的に評価された。
• 導出された最適な非一様サンプリング確率は、IPW推定量の無条件漸近的分散を最小化し、一様サンプリングを上回る性能を示した。
• 非一様対数オッズ補正を施した尤度ベース推定量は、広い推定量クラスの中で最小の漸近的分散を達成し、優れた効率性を示した。
• 0.3兆件を超える実際のCTRデータセットにおける実験結果から、本手法の有効性とスケーラビリティが確認され、尤度ベース推定量が常にIPWや他のベースラインを上回った。
• 非線形活性化関数を用いたアブレーションスタディから、真のデータ生成過程が線形から逸脱する場合でも、本手法はモデル不適合に対してロバストであることが示された。