[논문 리뷰] Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi외 3명|arXiv (Cornell University)|2022. 03. 11.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 신경망 가중치를 난수 변수로 모델링하고 그들의 두 번째 모멘트 통계량—특히 가중치 상관행렬—을 최적화함으로써 적대적 훈련을 향상시키는 새로운 방법인 제2차 통계 최적화(S2O)를 제안한다. 독립성 가정을 완화하고 PAC-베이지안 프레임워크를 개선함으로써 S2O를 기존의 적대적 훈련 방법에 통합함으로써, 최소한의 훈련 오버헤드로도 강건성과 일반화 성능을 향상시키며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Adversarial training has been shown to be one of the most effective approaches to improve the robustness of deep neural networks. It is formalized as a min-max optimization over model weights and adversarial perturbations, where the weights can be optimized through gradient descent methods like SGD. In this paper, we show that treating model weights as random variables allows for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) with respect to the weights. By relaxing a common (but unrealistic) assumption of previous PAC-Bayesian frameworks that all weights are statistically independent, we derive an improved PAC-Bayesian adversarial generalization bound, which suggests that optimizing second-order statistics of weights can effectively tighten the bound. In addition to this theoretical insight, we conduct an extensive set of experiments, which show that S$^2$O not only improves the robustness and generalization of the trained neural networks when used in isolation, but also integrates easily in state-of-the-art adversarial training techniques like TRADES, AWP, MART, and AVMixup, leading to a measurable improvement of these techniques. The code is available at \url{https://github.com/Alexkael/S2O}.

연구 동기 및 목표

• 모델 가중치의 제2차 통계량을 간과하는 적대적 훈련의 문제점을 해결하기 위해.
• 가중치를 상관관계가 있는 통계량을 가진 난수 변수로 모델링하여 적대적 강건성과 일반화 성능을 향상시키기 위해.
• 가중치 상관행렬을 최적화하기 위한 이론적으로 타당하고 경험적으로 효과적인 방법을 개발하기 위해.
• 제안된 방법을 기존 최신 기술 수준의 적대적 훈련 프레임워크에 원활하게 통합하기 위해.
• 가중치의 제2차 통계량이 일반화 및 강건성 향상에 의미 있고 측정 가능한 기여를 한다는 것을 입증하기 위해.

제안 방법

• 논문은 적대적 강건성을 통합하고 가중치의 독립성 가정을 완화함으로써 PAC-베이지안 프레임워크를 업데이트하여, 제2차 통계량으로서의 가중치 상관행렬을 도입한다.
• 가중치 상관행렬의 스펙트럴 노름, 행렬식 또는 특이값을 최적화함으로써 일반화 경계를 강화하는 새로운 S2O 훈련 방법을 제안한다.
• 효율적인 가중치 상관행렬 계산을 위해 샘플링 기반 방법과 라플라스 근사 방법을 두 가지 추정 기법으로 활용한다.
• 기존의 적대적 훈련 기법인 TRADES, AWP, MART, AVMixup와 호환되도록 플러그 앤 플레이 방식으로 설계되어 있다.
• 이론적 분석을 통해, 가중치 상관행렬의 노름을 제어함으로써 업데이트된 PAC-베이지안 프레임워크 하에서 적대적 일반화 경계가 강화됨을 보여준다.
• 실험적으로 t-SNE 시각화와 PGD 공격를 통해, 훈련 중 잠재 표현에서의 클래스 간 분리도 향상되고 강건성이 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 모델 가중치의 제2차 통계량이 딥 네URAL 네트워크에서 적대적 강건성과 일반화 성능 향상에 기여할 수 있는가?
• RQ2 PAC-베이지안 프레임워크에서 가중치의 독립성 가정을 완화할 경우, 적대적 훈련의 일반화 경계에 어떤 영향을 미치는가?
• RQ3 훈련 중에 가중치 상관행렬을 계산하고 최적화하는 데 있어 높은 계산 비용 없이도 효율적으로 수행할 수 있는가?
• RQ4 기존 최신 기술 수준의 적대적 훈련 방법에 S2O를 통합하면 측정 가능한 성능 향상이 이루어지는가?
• RQ5 가중치 상관행렬의 어떤 노름(예: 스펙트럴 노름, 행렬식)이 강건성 향상에 가장 효과적인가?

주요 결과

• S2O는 독립적으로 사용될 경우, PGD-20 공격 하에서 CIFAR-10과 Fashion-MNIST에서 표준 적대적 훈련을 뛰어넘는 강건성과 일반화 성능 향상을 크게 달성한다.
• TRADES, AWP, MART, AVMixup와 같은 최신 기술 수준의 기법들 역시 S2O를 통해 향상되어, 여러 벤치마크에서 새로운 최고의 강건성 정확도를 달성한다.
• S2O는 훈련 시간 증가 폭이 미미하여 계산적으로 효율적이며, 실세계 적용에 매우 실용적이다.
• t-SNE 시각화 결과, AT+S2O가 적대적 흐름이 가해진 상황에서도 히든 레이어에서 더 나은 클래스 간 분리도를 보임을 확인하여 강건성이 향상됨을 입증한다.
• 이론적 분석을 통해, 가중치 상관행렬을 최적화함으로써 PAC-베이지안 프레임워크 하에서의 적대적 일반화 경계가 강화됨을 보여주며, 경험적 성과 향상에 대한 체계적인 근거를 제공한다.
• 이 방법은 다양한 아키텍처와 데이터셋에 대해 강건하며, 아키텍처 변경 없이도 일관된 성능 향상을 보였다.