[論文レビュー] On Margins and Derandomisation in PAC-Bayes

Felix Biggs, Benjamin Guedj|arXiv (Cornell University)|Jul 8, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、マージンに基づく集中測度を用いたPAC-Bayesian一般化境界の決定的化を統一的フレームワークとして導入し、線形分類器、誤差関数活性化を用いた1層隠れ層ネットワーク、および深層ReLUネットワークに対して、よりタイトで単純化された境界を可能にする。主な貢献は、明示的な定数と簡素化された証明を伴うマージンに基づく決定的化技術であり、特に集中性が弱い状況下でもロバスト性を確保するための部分的決定的化を導入している。

ABSTRACT

We give a general recipe for derandomising PAC-Bayesian bounds using margins, with the critical ingredient being that our randomised predictions concentrate around some value. The tools we develop straightforwardly lead to margin bounds for various classifiers, including linear prediction -- a class that includes boosting and the support vector machine -- single-hidden-layer neural networks with an unusual \(\erf\) activation function, and deep ReLU networks. Further, we extend to partially-derandomised predictors where only some of the randomness is removed, letting us extend bounds to cases where the concentration properties of our predictors are otherwise poor.

研究の動機と目的

• PAC-Bayesian学習における決定的予測子のタイトで解釈可能な一般化境界を導出する課題に対処すること。
• マージンに基づくロバスト性と確率的予測子における集中測度の間の関係を形式化すること。
• 古典的な決定的化が失敗する状況、特に深層ニューラルネットワークにおいてPAC-Bayesian境界を拡張すること。
• 完全な決定的化が集中性が悪い場合に実行不可能な状況において、部分的決定的化を柔軟な代替手段として導入すること。
• 既存のマージン境界の証明を簡素化し、特に線形およびReLUネットワークにおいて定数を改善すること。

提案手法

• 決定的予測ルールの周囲に集中する確率的予測子の代理分布を構築することで決定的化を達成し、集中の程度をマージンの大きさで制御する。
• 確率的予測子の平均からの逸脱をモデル化するため、正規分布の一般化であるサブガウス分布の一般化を用いることで、高確率での集中境界を可能にする。
• 主な革新の1つは、一部の重みのみを決定的化する部分的決定的化の使用であり、これは集中性が弱い状況でも境界を導出可能にする。
• フレームワークは集中測度不等式を活用して確率的予測子の逸脱を制御し、決定的境界を高確率保証に置き換える。
• 深層ReLUネットワークに対しては、Neyshaburら（2018）の証明構造を援用し、わずかに改善しており、重みノルムおよびマージンパラメータへの依存がよりタイトになっている。
• 本手法は線形予測、確率的特徴マップ、誤差関数活性化を用いたネットワーク、および深層ReLUネットワークに適用され、それぞれ新たな境界または簡素化された境界が得られている。

実験結果

リサーチクエスチョン

• RQ1 マージンに基づく集中測度を用いて、PAC-Bayesian境界を体系的に決定的化する方法は何か？
• RQ2 集中性の性質が、決定的予測子のよりタイトな一般化境界を導出する上で果たす役割は何か？
• RQ3 部分的決定的化は、集中性が悪いモデルに対してもPAC-Bayesian境界の適用範囲を拡張できるか？
• RQ4 次元依存性とタイトさの観点から、マージンに基づく境界とカバー数に基づくアプローチの違いは何か？
• RQ5 本フレームワークは、線形および深層ニューラルネットワークにおける既存のマージン境界を簡素化または改善できるか？

主な発見

• 本稿は、BartlettとShawe-Taylor（1998）の結果を改善し、Grønlundら（2020）の下界のオーダーに一致する、$L_2$正則化付き線形分類の新しい境界を導出しており、明示的かつ小さな定数を有する。
• 1層隠れ層で誤差関数活性化を用いるネットワークに対しては、混合分布を用いた代理予測子を用いることで、従来未解決であった状況での決定的化が可能になる、画期的なマージンに基づく境界を導出している。
• 深層ReLUネットワークに対しては、Neyshaburら（2018）の結果をわずかに改善しており、重みノルムおよびマージンパラメータへの依存がよりタイトになっている。
• 部分的決定的化により、初期層の集中性が弱くても、最後の層が決定的である深層ネットワークに対しても境界が得られ、適用範囲が拡張されている。
• 本手法は、従来のカバー数に基づくアプローチが次元依存性において最適でないことを明らかにし、ニューラルネットワークにおけるより良い集中境界の必要性を強調している。
• 著者らは、ニューラルネットワークにおけるよりタイトな集中境界が、直接的に改善されたマージンに基づく一般化境界をもたらすことを示しており、今後の研究の重要な方向性であると示唆している。