[論文レビュー] Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes

Jun Yang, Shengyang Sun+1 more|arXiv (Cornell University)|Aug 20, 2019

Machine Learning and Algorithms参考文献 41被引用数 7

ひとこと要約

本稿は、シフトされたラデマッハープロセスを用いた高速レートPACベイズ一般化境界を導出するための新規フレームワークを提案する。この手法により、定数を除いてカトニの高速$1/m$-レート境界を回復でき、また、後方分布の周囲におけるリスクサーフェスの経験的フラットネスに依存する新たな境界が得られる。このアプローチはラデマッハープロセスとPACベイズ理論を統合し、ニューラルネットワークのような過パラメータ化モデルにおける一般化に関する新たな知見を提供する。

ABSTRACT

The developments of Rademacher complexity and PAC-Bayesian theory have been largely independent. One exception is the PAC-Bayes theorem of Kakade, Sridharan, and Tewari (2008), which is established via Rademacher complexity theory by viewing Gibbs classifiers as linear operators. The goal of this paper is to extend this bridge between Rademacher complexity and state-of-the-art PAC-Bayesian theory. We first demonstrate that one can match the fast rate of Catoni's PAC-Bayes bounds (Catoni, 2007) using shifted Rademacher processes (Wegkamp, 2003; Lecué and Mitchell, 2012; Zhivotovskiy and Hanneke, 2018). We then derive a new fast-rate PAC-Bayes bound in terms of the "flatness" of the empirical risk surface on which the posterior concentrates. Our analysis establishes a new framework for deriving fast-rate PAC-Bayes bounds and yields new insights on PAC-Bayesian theory.

研究の動機と目的

• ラデマッハープロセスと最新のPACベイズ理論の間のギャップを埋めるために、統一的な分析フレームワークを確立すること。
• シフトされたラデマッハープロセスを用いてカトニの高速レートPACベイズ境界を回復し、このアプローチが既存の最先端結果に匹敵する可能性を示すこと。
• 後方分布の周囲におけるリスクサーフェスの経験的フラットネスに依存する新たな高速レートPACベイズ境界を導入すること。
• 経験過程理論のツールを活用して、PACベイズ一般化に関する新たな理論的知見を提供すること。
• 特に確率的最適化によって学習される深層ニューラルネットワークを含む過パラメータ化モデルにおける一般化を分析するための新たな研究の道筋を開くこと。

提案手法

• 著者らは、経験リスクと真のリスクの乖離を制限するために、シフトされたラデマッハープロセス（シフトされた経験過程の特別なケース）をコアな分析的ツールとして用いる。
• 彼らはギブス分類器を線形作用素として再定式化し、シフトされたラデマッハープロセスの尾確率を用いて、データに依存する一般化保証を導出する。
• 新しい境界は、後方分布が集中する経験的リスクサーフェスのフラットネスを測定することで得られる。このフラットネスの概念は、平坦なミニマと一般化の間の一般化を内蔵した関係にインspiredされたものである。
• このアプローチは[21]の研究に基づき、ラデマッハープロセスに基づくPACベイズフレームワークを高速レートを達成するために拡張している。
• 分析は濃度不等式と強い凸正則化子の性質を活用して、後方リスクが真のリスクからどれほど乖離するかを制御する。
• このフレームワークは、有界および無限大の損失関数へも拡張可能であり、ただし本稿では0-1損失に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 シフトされたラデマッハープロセスを用いて、既存の最先端結果に匹敵または上回る高速レートPACベイズ境界を導出できるか？
• RQ2 経験的リスクサーフェスの「フラットネス」の概念を、PACベイズフレームワークにおいてよりタイトな一般化境界を導く形で形式化できるか？
• RQ3 経験過程に基づく共通の分析フレームワークを通じて、ラデマッハープロセス理論とPACベイズ理論を統合することは可能か？
• RQ4 過パラメータ化モデル、特に確率的勾配降下法で学習される深層ニューラルネットワークにおけるリスクサーフェスのフラットネスは、一般化性能とどのように関係するか？
• RQ5 このアプローチは無限大の損失関数へ拡張可能か、あるいは特定の学習アルゴリズム（例：確率的勾配降下法）に適合可能か？

主な発見

• 本稿は、定数要因を除いて、シフトされたラデマッハープロセスを用いてカトニの高速レートPACベイズ境界を成功裏に回復した。これは、$1/m$-レート収束を達成するためのこのアプローチの有効性を示している。
• 後方分布が集中する経験的リスクサーフェスのフラットネスに明示的に依存する新たな高速レートPACベイズ境界が導出された。これは、一般化のための新たな複雑さの尺度を提供する。
• フラットネスに基づく境界は経験的かつデータ依存的であるため、未知のデータ分布の期待値に依存する従来の概念よりも実用的である。
• 提案されたフレームワークは、ラデマッハープロセスを用いた高速レートPACベイズ境界の導出のためのブループrintを提供し、PACベイズ一般化に関する新たな理論的視点を提供する。
• 初期の経験的調査では、標準的なPACベイズ境界最適化が、結果として得られる後方分布が提案された意味で平坦でないため、アンダーフィッティングを引き起こす可能性があることが示唆された。これは、境界のタイトさと一般化性能の間の潜在的なトレードオフを示している。
• この手法は一般性に富んでおり、無限大の損失関数への拡張が可能であるが、そのような拡張は今後の研究の未解決課題のまま残っている。