[論文レビュー] De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors

Arindam Banerjee, Tiancong Chen+1 more|arXiv (Cornell University)|Feb 23, 2020

Machine Learning and Algorithms参考文献 88被引用数 5

ひとこと要約

この論文は、ReLUネットワークなどの決定的で非凸・非滑らかな予測器に対して、大規模なリプシッツ定数に依存せずに、入力依存の滑らかさを線形深層ネットワーク（LDN）を用いて活用することで、確率的・非確率的（de-randomized）なPAC-Bayesマージン境界を導入する。主な貢献は、重みの初期化からの距離と有効曲率のトレードオフに依存する非一様一般化境界であり、MNISTおよびCIFAR-10において、深さ・幅・ミニバッチサイズを変化させた実験で裏付けられている。

ABSTRACT

In spite of several notable efforts, explaining the generalization of deterministic non-smooth deep nets, e.g., ReLU-nets, has remained challenging. Existing approaches for deterministic non-smooth deep nets typically need to bound the Lipschitz constant of such deep nets but such bounds are quite large, may even increase with the training set size yielding vacuous generalization bounds. In this paper, we present a new family of de-randomized PAC-Bayes margin bounds for deterministic non-convex and non-smooth predictors, e.g., ReLU-nets. Unlike PAC-Bayes, which applies to Bayesian predictors, the de-randomized bounds apply to deterministic predictors like ReLU-nets. A specific instantiation of the bound depends on a trade-off between the (weighted) distance of the trained weights from the initialization and the effective curvature (`flatness') of the trained predictor. To get to these bounds, we first develop a de-randomization argument for non-convex but smooth predictors, e.g., linear deep networks (LDNs), which connects the performance of the deterministic predictor with a Bayesian predictor. We then consider non-smooth predictors which for any given input realized as a smooth predictor, e.g., ReLU-nets become some LDNs for any given input, but the realized smooth predictors can be different for different inputs. For such non-smooth predictors, we introduce a new PAC-Bayes analysis which takes advantage of the smoothness of the realized predictors, e.g., LDN, for a given input, and avoids dependency on the Lipschitz constant of the non-smooth predictor. After careful de-randomization, we get a bound for the deterministic non-smooth predictor. We also establish non-uniform sample complexity results based on such bounds. Finally, we present extensive empirical results of our bounds over changing training set size and randomness in labels.

研究の動機と目的

• リプシッツ定数に基づく複雑さの項が空虚になるため、古典的な境界が失敗する、決定的で滑らかでない深層ネットワーク（例：ReLUネット）における一般化の説明の課題に取り組む。
• PAC-Bayes境界がベイジアン予測器にしか適用されないという既存の制限を克服するため、決定的モデルに適用可能な非確率的化フレームワークを構築する。
• 重みの初期化からのL2距離と予測器の有効曲率（平坦さ）のトレードオフに依存する非一様一般化境界を開発する。
• ネットワークの深さ・幅・学習ミニバッチサイズの変化を含め、微小バッチ学習を含むさまざまな設定において、境界の理論的・実験的妥当性を確立する。
• 入力固有の滑らかさ（LDN実現を通じて）を活用するPAC-Bayes解析を提供し、滑らかでないネットワークのグローバルリプシッツ定数に依存しないようにする。

提案手法

• 滑らかでない予測器（例：ReLUネット）に対して、各入力が異なる滑らかな線形深層ネットワーク（LDN）を誘発することをモデル化し、局所的な滑らかさに基づく解析を可能にする。
• 重みの初期化からの距離と、各入力における有効曲率（ヘッセ行列に基づく平坦さ）に依存するPAC-Bayesマージン境界を導出する。
• 訓練サンプル数で正規化された、マージン損失・曲率・重みノルム項を組み合わせたスケール不変一般化境界を導入する。
• ヘッセ行列の対角成分を用いて有効曲率を推定し、完全なヘッセ行列の計算を回避することで、効率的な実証的評価を可能にする。
• 各特定の予測器に対して高確率で成り立つような、非一様なサンプル複雑度の結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 グローバルリプシッツ定数に依存せずに、決定的で滑らかでない深層ネットワーク（例：ReLUネット）に適用可能なPAC-Bayes境界を非確率化できるか？
• RQ2 初期化からの重み距離と局所的曲率のトレードオフを用いて、決定的ReLUネットワークの一般化誤差をどのように境界づけられるか？
• RQ3 提案された非確率的境界は、ラベルのランダム化や訓練データサイズの変化に対してもタイトで有用なままであるか？
• RQ4 MNISTおよびCIFAR-10において、ネットワークの深さ・幅や学習レジーム（バッチサイズ・マイクロバッチ）の変化に対し、境界が効果的に計算され、実証的に検証できるか？
• RQ5 境界の各構成要素（曲率、マージン損失、重みノルム）と、実際のテスト誤差との間にどのような関係があるか？

主な発見

• MNISTおよびCIFAR-10の両方において、訓練データ数を100から10,000に増加させると、提案された非確率的PAC-Bayス境界が減少し、データ量の増加に伴い一般化性能が向上することを示している。
• ネットワークの深さ（例：2, 4, 8, 128, 256, 512）および幅（例：128, 256, 384, 512）の変化に対しても境界が有効であり、広範なアーキテクチャへの適用可能性を示している。
• ミニバッチサイズ16のマイクロバッチ学習に対しても境界が成立し、学習レジームの変更に対してもタイトさを失わず、ロバストであることが示された。
• ヘッセ行列の対角成分から得られる有効曲率項は、一般化性能と相関があり、境界のタイトさに顕著な寄与をしている。
• マージン損失・曲率・正規化された重みノルムを組み合わせたスケール不変一般化境界は、学習の進行とデータ量の増加に伴い一貫して減少する傾向を示した。
• 実証的結果から、境界とその構成要素がテスト誤差のトレンドを追従しており、学習が進むにつれて境界とその各項が減少する傾向を示しており、理論的整合性が裏付けられた。