[論文レビュー] Why resampling outperforms reweighting for correcting sampling bias with stochastic gradients

Jing An, Lexing Ying+1 more|arXiv (Cornell University)|Sep 28, 2020

Machine Learning and Algorithms参考文献 32被引用数 11

ひとこと要約

この論文は、損失関数設計において統計的に同等であるにもかかわらず、確率的勾配法を用いる際、リサンプリングがリウェイトリングを上回る理由を説明している。力学的安定性と確率的漸近論を用いて、著者たちはリウェイトリングが勾配の不連続性によりSGDに不安定性をもたらすのに対し、リサンプリングは安定した収束を維持することを示している。分類、回帰、オフポリシー予測のタスクにおいて一貫した実験的優位性が確認された。

ABSTRACT

A data set sampled from a certain population is biased if the subgroups of the population are sampled at proportions that are significantly different from their underlying proportions. Training machine learning models on biased data sets requires correction techniques to compensate for the bias. We consider two commonly-used techniques, resampling and reweighting, that rebalance the proportions of the subgroups to maintain the desired objective function. Though statistically equivalent, it has been observed that resampling outperforms reweighting when combined with stochastic gradient algorithms. By analyzing illustrative examples, we explain the reason behind this phenomenon using tools from dynamical stability and stochastic asymptotics. We also present experiments from regression, classification, and off-policy prediction to demonstrate that this is a general phenomenon. We argue that it is imperative to consider the objective function design and the optimization algorithm together while addressing the sampling bias.

研究の動機と目的

• 確率的勾配法を用いた学習において、損失関数設計において統計的に同等であるにもかかわらず、リサンプリングが一貫してリウェイトリングを上回るという経験的事実を説明すること。
• 力学系と確率的漸近論のツールを用いて、この性能差の背後にある理由を分析すること。
• サンプリングバイアスに対処する際、目的関数設計と最適化アルゴリズムを統合的に考える必要があることを示すこと。
• 分類、回帰、オフポリシー予測の多様な機械学習タスクにおいて、理論的発見を検証すること。

提案手法

• SGDの確率的微分方程式（SDE）近似を用いた理論的分析を行い、更新プロセスのドリフト項と拡散係数に注目する。
• 損失関数のドリフト項のリプシッツ連続性と不連続性を検討することで、リウェイトリングとリサンプリングにおけるSGD更新の安定性を分析する。
• 非滑らかなSGDダイナミクスを滑らかなSDEフレームワークに写像するための全単射変換を適用し、強近似理論を用いて誤差バインディングを導出する。
• 分析により、リウェイトリングは勾配の不連続性付近で不安定なダイナミクスを示すのに対し、リサンプリングはそのような不安定性を回避することが明らかになった。
• 分類、回帰、オフポリシー予測の合成例を用いて、変化する学習率と初期条件の下で実験的検証を実施した。
• 同一の最適化設定下で、リウェイトリングとリサンプリングの収束軌道と最終的なモデル性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 損失関数設計において統計的に同等であるにもかかわらず、なぜ実際にはリサンプリングが一貫してリウェイトリングを上回るのか？
• RQ2 滑らかでない損失関数が存在する場合、リウェイトリングとリサンプリングにおける確率的勾配降下法のダイナミクスにはどのような違いがあるのか？
• RQ3 最適化アルゴリズムは、バイアス補正手法の有効性にどのように寄与するのか？
• RQ4 力学的安定性と確率的漸近論を用いて、リウェイトリングとリサンプリングの間の性能差を説明できるか？
• RQ5 観察されたリサンプリングの優位性は、異なる機械学習タスクにおいて一般化可能な現象なのか？

主な発見

• 損失関数の勾配が不連続である場合、リサンプリングは力学的安定性に優れるため、SGDベースの学習においてリウェイトリングを上回る。
• リウェイトリングは、損失関数の勾配がリプシッツ連続でないため、不連続点付近で不安定な収束を示し、振動を引き起こす。
• リサンプリングは、区分的滑らかな最適化ランドスケープを維持することで、そのような不安定性を回避し、グローバル最小値へのより信頼性の高い収束を実現する。
• 実験的結果では、リサンプリングは高い学習率（例：η ≥ 0.4）でも安定して正確に保たれる一方、リウェイトリングは発散または振動を示す。
• この現象は一般化可能である：分類、回帰、オフポリシー予測タスクにおいて、確率的勾配最適化下でリサンプリングはリウェイトリングを上回る。
• 研究は、目的関数設計と最適化アルゴリズムを統合的に検討する必要があると結論づける。後者を無視すると、正しい損失補正を行っていても深刻な性能低下を招くことがある。