[論文レビュー] A PAC-Bayesian Analysis of Randomized Learning with Application to Stochastic Gradient Descent

Ben London|arXiv (Cornell University)|Sep 19, 2017

Stochastic Gradient Optimization Techniques参考文献 29被引用数 17

ひとこと要約

本稿は、PAC-Bayes理論とアルゴリズム的安定性を組み合わせることで、特に確率的勾配降下法（SGD）を対象として、ランダム化学習アルゴリズムのための新しいPAC-Bayesian一般化境界を導入する。これにより、SGDのサンプリング戦略に対するデータに依存する事後分布を可能とし、収束性とテスト精度を均一サンプリングよりも向上させる自己適応的サンプリングアルゴリズムを実現する。

ABSTRACT

We study the generalization error of randomized learning algorithms -- focusing on stochastic gradient descent (SGD) -- using a novel combination of PAC-Bayes and algorithmic stability. Importantly, our generalization bounds hold for all posterior distributions on an algorithm's random hyperparameters, including distributions that depend on the training data. This inspires an adaptive sampling algorithm for SGD that optimizes the posterior at runtime. We analyze this algorithm in the context of our generalization bounds and evaluate it on a benchmark dataset. Our experiments demonstrate that adaptive sampling can reduce empirical risk faster than uniform sampling while also improving out-of-sample accuracy.

研究の動機と目的

• 従来の研究が期待値に関する境界のみを提供するのに対し、高い確率で成り立つ一般化境界を、ランダム化学習アルゴリズムのためのものとして開発すること。
• PAC-Bayes境界を拡張し、データに依存する事後分布を許容することで、訓練データへのサンプリング分布の過学習のリスクを捉えること。
• 訓練の進行状況とモデル性能に基づいて、動的にサンプリング重みを調整するSGDのための自己適応的サンプリングアルゴリズムを設計すること。
• 自己適応的事後分布と事前分布の乖離を理論的に分析し、一般化保証が維持されることを保証すること。
• 自己適応的サンプリングが、均一サンプリングと比較して、経験的リスクの低減が速く、テスト精度が向上することを実証的に検証すること。

提案手法

• PAC-Bayes理論とアルゴリズム的安定性を組み合わせ、ランダム化学習アルゴリズムのための高確率一般化境界を導出する。
• 訓練データに依存するSGDのサンプリングインデックスに関する事後分布を導入し、固定された事前分布からの乖離をペナルティ化することで、過学習を抑制する。
• 勾配の有効性とモデル更新に基づいて、サンプリング確率を調整するための乗法的重み更新を用いた自己適応的サンプリングアルゴリズムを提案する。
• 反復処理中にサンプリング重みを効率的に維持・更新できる木構造のデータ構造を採用する。
• 勾配の大きさと減衰に基づく有効性関数を用い、SGD更新における情報量の多い例を優先する。
• 自己適応的事後分布と事前分布のKLダイバージェンスに関する理論的境界を導出することで、一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian一般化境界を、データに依存する事後分布を許容する形で、ランダム化学習アルゴリズムに対して高い確率で成り立つように拡張できるか？
• RQ2 アルゴリズム的安定性とPAC-Bayesを組み合わせることで、SGDに対してよりタイトで実用的な一般化境界を得られるか？
• RQ3 訓練データから学習する自己適応的サンプリング戦略は、SGDにおける収束性と一般化性能の向上に寄与できるか？
• RQ4 自己適応的事後分布の乖離とSGDにおける一般化誤差の理論的関係は何か？
• RQ5 自己適応的サンプリングは、経験的リスク低減とテスト精度の面で、均一サンプリングを上回る性能を示すか？

主な発見

• 提案された一般化境界は高い確率で成り立つため、従来の期待値に関する境界に比べて改善されている。
• 境界はすべての事後分布、特にデータに依存するものに対しても適用可能であり、自己適応的サンプリング戦略の実現を可能にしている。
• 自己適応的サンプリングアルゴリズムは、訓練中における経験的リスクの低減が均一サンプリングよりも速い。
• アルゴリズムは出先の精度を向上させ、より優れた一般化性能を示している。
• 理論的分析により、自己適応的事後分布と事前分布のKLダイバージェンスが有界であることが示され、一般化が保証されている。
• ベンチマークデータセットにおける実験結果により、異なる更新ルールや有効性関数に対しても、自己適応的サンプリング戦略の有効性が確認された。