[論文レビュー] Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates

Jeffrey Negrea, Mahdi Haghifam+3 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Algorithms被引用数 38

ひとこと要約

論文はデータ依存の推定値を用いた情報理論的一般化境界をSGLDに対して展開し、分解された相互情報を重要な手段として導入する。

ABSTRACT

In this work, we improve upon the stepwise analysis of noisy iterative learning algorithms initiated by Pensia, Jog, and Loh (2018) and recently extended by Bu, Zou, and Veeravalli (2019). Our main contributions are significantly improved mutual information bounds for Stochastic Gradient Langevin Dynamics via data-dependent estimates. Our approach is based on the variational characterization of mutual information and the use of data-dependent priors that forecast the mini-batch gradient based on a subset of the training samples. Our approach is broadly applicable within the information-theoretic framework of Russo and Zou (2015) and Xu and Raginsky (2017). Our bound can be tied to a measure of flatness of the empirical risk surface. As compared with other bounds that depend on the squared norms of gradients, empirical investigations show that the terms in our bounds are orders of magnitude smaller.

研究の動機と目的

• SGLDに対する情報理論的一般化境界の学習設定での必要性を動機づける。
• 条件依存性の測度として分解された相互情報量を導入・形式化する。
• SGLDの一般化誤差をデータ依存的推定値で界を作る。
• KL発散、相互情報、条件MIと一般化境界を結ぶ理論的結果を提供する。

提案手法

• 分解された相互情報 I_Z(X;Y) = KL(P_Z[(X,Y)] || P_Z[X] ⊗ P_Z[Y] を定義する。
• 条件付き期待 E_Y|Z および Z を与えた条件付き分布を用いて情報理論的量を定式化する。
• 分解アプローチとともに標準的な情報理論的概念（KL、相互情報、条件付き相互情報）を適用する。
• データ依存的情報量に依存する一般化誤差の界を導出する。
• 分解されたMIと期待される分解されたMI I(X;Y|Z) = E I_Z(X;Y) を結ぶ枠組みを提供する。
• SGLDを用いた確率的最適化設定に特に適用する。

実験結果

リサーチクエスチョン

• RQ1 分解された相互情報を用いてSGLDの一般化誤差を界限できるか？
• RQ2 学習アルゴリズムの確率的勾配を伴う一般化境界を提供するデータ依存的情報量は何か？
• RQ3 KL発散と条件付きMIはいかにしてデータ依存性のあるランダム性の下で一般化と関係するのか？
• RQ4 SGLD設定でサンプル依存量に依存する実用的で解釈可能な境界を導出できるか？
• RQ5 分解されたMIの枠組みが有効な境界をもたらすために必要な正則性条件は何か？

主な発見

• 分解された相互情報を用いた情報理論的一般化境界の枠組みを確立した。
• I_Z(X;Y) のようなデータ依存的情報量で一般化境界を表現した。
• 標準的な情報理論量（KL、MI、条件付きMI）を分解アプローチに結びつけ、SGLDに適した形式に整えた。
• データ依存的推定値が分解されたMIを介して一般化に影響を与えることを示す理論的結果を提供した。
• SGLDによる確率的最適化へこの枠組みを適用する手順を、乱数源 Z を条件づけることで概説した。