[論文レビュー] A General Framework for the Derandomization of PAC-Bayesian Bounds

Paul Viallard, Pascal Germain+2 more|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning参考文献 18被引用数 5

ひとこと要約

本稿は、Rényi散発度を用いたPAC-Bayesian境界の分解に新たな一般枠組みを導入し、コストの高いランダム化解除を要せず、直接的かつ安定的かつ最適化可能な一般化保証を、特にニューラルネットワークを含む個々の決定的分類器に対して可能にした。この手法は、従来の分解手法と比較してよりきつい、より実用的な境界をもたらし、一般化性能において顕著な実験的改善を示した。

ABSTRACT

PAC-Bayesian bounds are known to be tight and informative when studying the generalization ability of randomized classifiers. However, they require a loose and costly derandomization step when applied to some families of deterministic models such as neural networks. As an alternative to this step, we introduce new PAC-Bayesian generalization bounds that have the originality to provide disintegrated bounds, i.e., they give guarantees over one single hypothesis instead of the usual averaged analysis. Our bounds are easily optimizable and can be used to design learning algorithms. We illustrate this behavior on neural networks, and we show a significant practical improvement over the state-of-the-art framework.

研究の動機と目的

• 決定的モデル（ニューラルネットワークなど）に対する実用的で利用可能な分解PAC-Bayesian境界の不足を解消すること。
• 標準的なPAC-Bayesian解析における高コストで緩いランダム化解除ステップの必要性を排除すること。
• 平均リスクではなく個々の仮説に対する一般化、安定的かつ最適化可能な枠組みを構築すること。
• 従来手法と比較して、分解プロセスにおける分散を低減することで、実験的性能を向上させること。
• 理論的根拠を備えつつも、実用的で効果的な方法を、強い一般化保証を伴うエンドツーエンド学習に適用すること。

提案手法

• 本フレームワークは、Rényi散発度に基づく新たな分解PAC-Bayesian境界を導入し、事前分布と事後分布に依存するが、サンプリングされた仮説には依存しない。
• 一般化保証を特定のサンプリングされた仮説から分離するために、Rényi散発度の新しい応用が行われ、境界が導出された。
• 学習中に境界を直接最適化可能であり、証明可能な一般化性能を持つ決定的モデルの学習が可能になった。
• 仮説から分散項を分離することで、従来の分解境界で見られた高い分散を回避し、より安定した最適化が実現された。
• 微分可能最適化プロセスを用いて、ニューラルネットワークに本フレームワークを適用した。
• 理論的分析により、境界は一部の従来の分解境界より緩いが、分散の低減により実用的にははるかに安定していることが示された。

実験結果

リサーチクエスチョン

• RQ1 追加のランダム化解除ステップを要せず、決定的モデルに適用可能な一般枠組みを構築することは可能か？
• RQ2 分解PAC-Bayesian境界を、実用的な学習アルゴリズムに適した安定的かつ最適化可能な形にすることは可能か？
• RQ3 分解プロセスにRényi散発度を用いることで、既存の分解境界と比較してより優れた実験的性能が得られるか？
• RQ4 提案されたフレームワークは、最先端手法と比較して、ニューラルネットワークに対してよりきつい、信頼性の高い一般化保証を提供できるか？
• RQ5 分解PAC-Bayesian境界において、理論的緩さと実用的安定性のトレードオフは何か？

主な発見

• Rényi散発度に基づく提案された分解境界は、ニューラルネットワークにおいて、従来の分解境界と比較して顕著に低いテスト誤差を達成し、一部の設定では最大10%の改善を示した。
• Rényi散発度項がサンプリングされた仮説に依存しないため、最適化中に優れた安定性を示した。
• 小さな分散設定（σ² = 10⁻⁵）におけるMNISTデータセットでは、テスト誤差が.256 ± .000に達し、次に優れた手法よりも0.012優れていた。
• 高い分散設定（σ² = 10⁻³）でも、すべてのノイズレベルで一貫して優れた性能を維持し、テスト誤差は.264 ± .001を達成した。
• 境界の最適化に適した性質を有しており、収束が早く、学習目的関数の分散が低いことが実証された。
• フレームワークにより、後処理によるランダム化解除やアンサンブル平均化を不要にし、強い一般化保証を伴う直接学習が可能になった。