[论文解读] A Kernel Perspective for Regularizing Deep Neural Networks

Alberto Bietti, Grégoire Mialon+2 more|arXiv (Cornell University)|Sep 30, 2018

Adversarial Robustness in Machine Learning被引用 36

一句话总结

本文從再生核Hilbert空間（RKHS）的視角出發，提出一種用於正則化深度神經網絡的方法，透過RKHS範數來衡量模型複雜度與魯棒性。儘管該範數難以直接計算，但其提供了一個統一的理論框架，可重新詮釋並拓展現有的方法，如譜範數正則化、梯度懲罰與對抗訓練。結合上界與下界之混合策略在小數據集與對抗性數據集上展現出更優秀的泛化與魯棒性表現。

ABSTRACT

We propose a new point of view for regularizing deep neural networks by using the norm of a reproducing kernel Hilbert space (RKHS). Even though this norm cannot be computed, it admits upper and lower approximations leading to various practical strategies. Specifically, this perspective (i) provides a common umbrella for many existing regularization principles, including spectral norm and gradient penalties, or adversarial training, (ii) leads to new effective regularization penalties, and (iii) suggests hybrid strategies combining lower and upper bounds to get better approximations of the RKHS norm. We experimentally show this approach to be effective when learning on small datasets, or to obtain adversarially robust models.

研究动机与目标

• 將多樣的深度學習正則化技術（如譜範數、梯度懲罰與對抗訓練）統一於基於再生核Hilbert空間（RKHS）的理論框架之下。
• 提供理論洞見，說明RKHS範數如何控制模型複雜度、泛化能力，以及對抗擾動的魯棒性。
• 基於RKHS範數的下界，提出新的正則化懲罰方法，包括對抗擾動與梯度範數，以提升在小數據集與對抗環境下的表現。
• 提出結合RKHS範數上界與下界的混合正則化策略，以實現更緊緻的控制與更佳的實驗性能。

提出的方法

• 透過深度卷積核構造，將深度卷積神經網絡形式化為RKHS中的元素，進而可將RKHS範數作為正則化項。
• 利用對抗擾動（如PGD攻擊）、梯度範數與切線傳播，推導RKHS範數的下界，作為實際可用的正則化懲罰。
• 利用權重矩陣的譜範數推導RKHS範數的上界，從而實現類似譜歸一化之約束型正則化策略。
• 提出混合正則化策略，結合下界懲罰（如PGD-ℓ₂）與上界約束（如譜範數），以提升模型穩定性與泛化能力。
• 在RKHS框架中應用基於邊際的泛化界限，連結模型魯棒性與對抗泛化保證。
• 將該框架應用於分類與生成建模，並連結至核兩樣本檢驗（MMD）與GAN訓練穩定性。

实验结果

研究问题

• RQ1 如何將深度神經網絡的RKHS範數作為統一正則化器，以提升泛化與魯棒性？
• RQ2 哪些現有正則化技術（如譜範數、梯度懲罰與對抗訓練）可被詮釋為RKHS範數的近似？
• RQ3 基於RKHS範數下界推導出的新正則化懲罰是否能提升小數據集或對抗攻擊下的表現？
• RQ4 結合RKHS範數上界與下界的混合策略，與單獨使用上界或下界方法相比，在泛化與魯棒性上有何差異？
• RQ5 基於RKHS的邊際界限在多大程度上能預測對抗泛化表現？

主要发现

• 結合下界懲罰（如PGD-ℓ₂）與上界約束（如譜範數）的混合正則化策略，在小圖像與生物數據集上的泛化表現優於單獨使用的方法。
• 由RKHS範數下界推導出的PGD-ℓ₂懲罰，在大擾動下表現出優於標準梯度懲罰∥∇f∥²的魯棒性。
• 以∥f∥δ²等下界懲罰訓練的模型，對RKHS範數的控制更為緊緻，體現在上下界估計更為均衡，進而獲得更具意義的泛化保證。
• 在小擾動範圍（小ε）下，∥∇f∥²懲罰中較弱的正則化（小λ）可提升準確率並改善魯棒性，但面對較大對抗者時則需更強的正則化。
• PGD-based方法的上下界差異最大，暗示此類模型可能具有局部穩定性，但RKHS範數較高，顯示對局部對抗結構可能存在過度擬合。
• 經歸一化的邊際分佈（以∥f∥δ為基準）顯示，更強的正則化能改善大對抗者下的泛化界限，驗證了理論預測。