[論文レビュー] On Minibatch Noise: Discrete-Time SGD, Overparametrization, and Bayes.

Liu Ziyin, Kangqiao Liu+2 more|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification被引用数 4

ひとこと要約

この論文は、確率的勾配降下法（SGD）におけるミニバッチノイズが発生する条件を調査し、ラベルノイズ、入力ノイズ、正則化、または不足パラメータ化によるモデルとデータの複雑さの不一致が、ノイズが現れるために不可欠であることを示している。線形回帰における解析的に解ける結果を導出し、一般的な近似をはるかに超えるより正確な一般化されたミニバッチノイズの定式化を提案している。

ABSTRACT

The noise in stochastic gradient descent (SGD), caused by minibatch sampling, remains poorly understood despite its enormous practical importance in offering good training efficiency and generalization ability. In this work, we study the minibatch noise in SGD. Motivated by the observation that minibatch sampling does not always a fluctuation, we set out to find the conditions that minibatch noise to emerge. We first derive the analytically solvable results for linear regression under various settings, which are compared to the commonly used approximations that are used to understand SGD noise. We show that some degree of mismatch between model and data complexity is needed in order for SGD to cause a noise, and that such mismatch may be due to the existence of static noise in the labels, in the input, the use of regularization, or underparametrization. Our results motivate a more accurate general formulation to describe minibatch noise.

研究の動機と目的

• ミニバッチノイズがトレーニング効率性と一般化性能の中心的役割を果たすにもかかわらず、常に存在するわけではない理由を理解すること。
• 最適化中にミニバッチノイズが実際に発生する特定の条件を同定すること。
• さまざまな設定下での線形回帰におけるミニバッチノイズの解析的に取り扱える結果を導出すること。
• 既存の一般的な近似を検証・改善し、より正確な一般化されたミニバッチノイズの定式化を提案すること。

提案手法

• 正則化の有無にかかわらず、線形回帰におけるSGDのノイズ共分散を解析的に導出する。
• 文献で一般的に用いられる近似（例：定数フィッシャー情報量近似）と正確な解析結果を比較する。
• 特にラベルノイズや入力ノイズが存在する状況において、モデルの複雑さとデータの複雑さの相対的関係が果たす役割を分析する。
• 正則化や不足パラメータ化がミニバッチノイズの発生にどのように寄与するかを調査する。
• モデルとデータの複雑さの不一致を考慮した一般化されたノイズモデルを構築し、単純化された仮定を超えるものとする。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチノイズが実際にSGDで発生する条件は何か？（平均化されない状況）
• RQ2 モデルとデータの複雑さの不一致がミニバッチノイズの発生にどのように影響するか？
• RQ3 SGDノイズの一般的な近似が、モデルとデータの不一致が存在する際の真のノイズダイナミクスをどの程度正しく捉えていないか？
• RQ4 ラベルノイズ、入力ノイズ、正則化、不足パラメータ化がミニバッチノイズの発生に果たす役割は何か？
• RQ5 モデルとデータの複雑さの不一致を考慮した、より正確なミニバッチノイズの一般化された定式化を導出できるか？

主な発見

• ミニバッチノイズは、ラベルノイズや入力ノイズが存在するなど、モデルとデータの複雑さの不一致が生じる場合に限り発生する。
• ノイズが現れるためには、ある程度の不足パラメータ化または正則化が必要であり、ノイズ成分のない過剰パラメータ化されたモデルでは勾配の揺らぎが現れないことがある。
• 定数フィッシャー情報量を仮定するようなSGDノイズの一般的な近似は、モデルとデータの不一致が存在する際には真のノイズダイナミクスを捉えていない。
• 線形回帰における解析的結果から、ノイズ分散がモデルとデータの複雑さの不一致の程度（正則化強度、入力またはラベルのノイズ分散など）に明示的に依存することが示された。
• 本研究は、データに対するモデルの複雑さの相対的関係を組み込んだ、より正確なミニバッチノイズの再考された一般化定式化を提唱している。