[論文レビュー] A Kernel Perspective for Regularizing Deep Neural Networks

Alberto Bietti, Grégoire Mialon+2 more|arXiv (Cornell University)|Sep 30, 2018

Adversarial Robustness in Machine Learning被引用数 36

ひとこと要約

本稿は、再生成核ヒルバート空間（RKHS）の観点から深層ニューラルネットワークの正則化を導入し、RKHSノルムを通じてモデルの複雑さと耐性をフレームワーク化する。ノルムは計算が困難であるが、スペクトルノルム正則化、勾配ペナルティ、 adversarial training といった既存手法を回復・拡張する包括的枠組みを提供する。上界と下界のハイブリッド戦略により、小規模データセットおよび adversarial データセットにおいて、一般化性能と耐性が向上する。

ABSTRACT

We propose a new point of view for regularizing deep neural networks by using the norm of a reproducing kernel Hilbert space (RKHS). Even though this norm cannot be computed, it admits upper and lower approximations leading to various practical strategies. Specifically, this perspective (i) provides a common umbrella for many existing regularization principles, including spectral norm and gradient penalties, or adversarial training, (ii) leads to new effective regularization penalties, and (iii) suggests hybrid strategies combining lower and upper bounds to get better approximations of the RKHS norm. We experimentally show this approach to be effective when learning on small datasets, or to obtain adversarially robust models.

研究の動機と目的

• 再生成核ヒルバート空間（RKHS）に基づく一貫した理論枠組みを用いて、スペクトルノルム、勾配ペナルティ、 adversarial training といった多様な深層学習正則化手法を統合すること。
• RKHSノルムがモデルの複雑さ、一般化性能、および adversarial パーティクルへの耐性をどのように制御するかの理論的洞察を提供すること。
• RKHSノルムの下界に基づく新たな正則化ペナルティ（例： adversarial パーティクルや勾配ノルム）を提案し、小規模データセットおよび adversarial 環境下での性能向上を図ること。
• RKHSノルムの上界と下界を組み合わせたハイブリッド正則化戦略を提案し、よりタイトな制御と優れた実験的性能を達成すること。

提案手法

• 深層畳み込みネットワークを深層畳み込みカーネル構築によりRKHSの要素として形式化し、RKHSノルムを正則化子として利用可能にする。
• adversarial パーティクル（例：PGDアタック）、勾配ノルム、接線伝播を用いてRKHSノルムの下界を導出し、実用的な正則化ペナルティとしての役割を果たす。
• 重み行列のスペクトルノルムを用いてRKHSノルムの上界を導出し、スペクトル正規化に類似した制約ベースの正則化戦略を可能にする。
• 下界ペナルティ（例：PGD-ℓ₂）と上界制約（例：スペクトルノルム）を組み合わせたハイブリッド正則化を提案し、安定性と一般化性能の向上を図る。
• RKHS枠組みにおけるマージンに基づく一般化境界を用いて、モデルの耐性と adversarial 一般化保証を結びつける。
• 分類および生成モデルへの応用を実施し、カーネル二標本検定（MMD）およびGANの訓練安定性と接続する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのRKHSノルムを、一般化性能と耐性の統一的正則化子としてどのように利用できるか？
• RQ2 スペクトルノルム、勾配ペナルティ、adversarial training といった既存の正則化手法は、RKHSノルムのどの近似として解釈できるか？
• RQ3 RKHSノルムの下界から導出された新たな正則化ペナルティ（例：∥f∥δ²）は、小規模データセットや adversarial 撃墜下で性能を向上させられるか？
• RQ4 RKHSノルムの上界と下界を組み合わせたハイブリッド戦略は、個別の手法と比較して一般化性能および耐性においてどのように異なるか？
• RQ5 RKHSに基づくマージン境界は、adversarial 一般化性能をどの程度正確に予測できるか？

主な発見

• 下界ペナルティ（例：PGD-ℓ₂）と上界制約（例：スペクトルノルム）を組み合わせたハイブリッド正則化戦略は、小規模な画像データセットおよび生物学的データセットにおける一般化性能において、個別の手法を上回る性能を示した。
• RKHSノルムの下界に基づいて導出されたPGD-ℓ₂ペナルティは、特に大きな摂動下で、標準的な勾配ペナルティ ∥∇f∥² よりも優れた耐性を示した。
• ∥f∥δ² などの下界ペナルティを用いて訓練されたモデルは、RKHSノルムのよりタイトな制御が可能であり、上界と下界の推定がよりバランスが取れていることから、より意味のある一般化保証が得られた。
• 小さな摂動領域（小さな ε）では、∥∇f∥² ペナルティにおける弱い正則化（小さな λ）が、精度を向上させつつ耐性を改善するが、より大きな敵対的攻撃では強い正則化が必要である。
• PGDベースの手法では、上界と下界の乖離が最大となり、このようなモデルは局所的に安定しているが、RKHSノルムが高いため、局所的な敵対的構造への過学習の可能性がある。
• ∥f∥δ で正規化されたマージン分布の実験的分析から、強い正則化が大きな敵対的攻撃下での一般化境界を改善することが確認され、理論的予測を裏付けた。