[논문 리뷰] S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi외 3명|arXiv (Cornell University)|2026. 03. 01.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

S2O는 PAC-Bayesian 프레임워크 내에서 가중치의 2차 통계를 최적화하여 적대적 강인성과 일반화를 향상시키고, 가중치 상관관계에 대한 라플라스 근사를 사용하며 단독으로도 다른 적대적 학습 방법과 함께도 개선을 얻는 것을 제안한다.

ABSTRACT

Adversarial training has emerged as a highly effective way to improve the robustness of deep neural networks (DNNs). It is typically conceptualized as a min-max optimization problem over model weights and adversarial perturbations, where the weights are optimized using gradient descent methods, such as SGD. In this paper, we propose a novel approach by treating model weights as random variables, which paves the way for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) over model weights. We challenge and relax a prevalent, yet often unrealistic, assumption in prior PAC-Bayesian frameworks: the statistical independence of weights. From this relaxation, we derive an improved PAC-Bayesian robust generalization bound. Our theoretical developments suggest that optimizing the second-order statistics of weights can substantially tighten this bound. We complement this theoretical insight by conducting an extensive set of experiments that demonstrate that S$^2$O not only enhances the robustness and generalization of neural networks when used in isolation, but also seamlessly augments other state-of-the-art adversarial training techniques. The code is available at https://github.com/Alexkael/S2O.

연구 동기 및 목표

• PAC-Bayes에서 가중치 독립성 가정을 완화하여 가중치 상관관계를 고려한다.
• 가중치의 2차 통계를 포함하는 강인한 일반화 경계를 도출한다.
• 학습 중 강인성과 일반화를 향상시키는 실용적 정규화항(S2O)을 개발한다.
• 라플라스 근사를 통한 가중치 상관관계의 효율적인 추정/최적화 프레임워크를 제공한다.
• 다양한 아키텍처와 데이터셋에 걸쳐 S2O가 기존의 적대적 학습 기법을 보완하고 향상시킨다는 것을 보여준다.

제안 방법

• 가중치를 차원 간 상관을 포착하기 위해 비구형 가우시안 사후 분포를 갖는 확률 변수로 가중치를 모델링한다.
• 레이어별 섭동에 대해 가중치 상관 행렬 R, Rc, Rr 을 정의하고 계산한다.
• 상관 행렬의 행렬식(det)과 스펙트럼 노름을 포함하는 강인한 일반화 경계를 도출한다(Theorem III.2, III.5).
• Hessian 정보를 이용하여 가중치 상관 행렬을 추정하기 위해 Laplace 근사를 사용한다(Section IV-B).
• 가중치 상관에 대해 Frobenius 노름 기반의 정규화를 도입하여 적대적 학습을 이끈다(Section IV-C).
• 제안된 2차 통계 항들을 최소화하는 것이 강인한 일반화 경계를 더욱 촘촘하게 하고 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 2차 가중치 통계가 적대적 학습 하에서 강인한 일반화 경계에 어떤 영향을 미치는가?
• RQ2 가중치의 상관 행렬을 실제로 효과적으로 추정할 수 있는가(예: Laplace 근사에 의해) 그리고 이를 학습에 통합할 수 있는가?
• RQ3 S2O가 독자적으로 그리고 기존의 적대적 학습 방법과 결합했을 때 다양한 아키텍처와 데이터셋에서 강인성과 일반화를 개선하는가?

주요 결과

• 가중치 상관관계를 포함하는 강인한 일반화 경계가 강인성에서 2차 통계의 역할에 대한 통찰을 제공한다.
• Frobenius 노름과 Laplace 기반 추정을 통해 가중치 상관 행렬의 최적화가 S2O 정규화 항에 정보를 제공한다.
• S2O는 단독으로도 강인성과 일반화를 향상시키고, 다른 적대적 학습 방법을 시너지 효과로 강화한다.
• 다양한 아키텍처(예: ViT-B, DeiT-S)와 데이터셋(예: Tiny-ImageNet, Imagenette)에 걸친 실증적 검증으로 여러 l_p 노름에 대한 강인성 지표를 확보했다.
• S2O용 코드는 공개적으로 이용 가능하여 재현 및 추가 탐색이 가능하다.