[논문 리뷰] Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness

Zifeng Wang, Tong Jian외 3명|arXiv (Cornell University)|2021. 06. 04.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 중간층 표현을 정규화하는 방법인 HSIC-Bottleneck-as-Regularizer(HBaR)를 제안한다. 이는 딥 네ural 네트워크의 적대적 로버스트성을 향상시키는 데 기여하며, 이론적으로도 실험적으로도 적대적 편향에 대한 민감도를 감소시킨다. 이는 적대적 훈련 없이도 가능하며, CIFAR-10 및 CIFAR-100 벤치마크에서 최신 적대적 훈련 방법과 결합했을 때도 일관되게 성능을 향상시킨다.

ABSTRACT

We investigate the HSIC (Hilbert-Schmidt independence criterion) bottleneck as a regularizer for learning an adversarially robust deep neural network classifier. In addition to the usual cross-entropy loss, we add regularization terms for every intermediate layer to ensure that the latent representations retain useful information for output prediction while reducing redundant information. We show that the HSIC bottleneck enhances robustness to adversarial attacks both theoretically and experimentally. In particular, we prove that the HSIC bottleneck regularizer reduces the sensitivity of the classifier to adversarial examples. Our experiments on multiple benchmark datasets and architectures demonstrate that incorporating an HSIC bottleneck regularizer attains competitive natural accuracy and improves adversarial robustness, both with and without adversarial examples during training. Our code and adversarially robust models are publicly available.

연구 동기 및 목표

• 적대적 훈련에만 의존하지 않고 딥 네ural 네트워크의 적대적 로버스트성을 향상시키는 것.
• 기존 정보 볼록화(IB) 방법에서 상호정보량의 계산 불가능성 문제를 해결하기 위해 HSIC를 계산 가능하고 유용한 대체 수 Mittel로 사용하는 것.
• 입력 노이즈가 표현에 미치는 영향을 제약함으로써 모델의 입력 편향에 대한 민감도를 제한하는 이론적으로 탄탄한 정규화자 제공.
• 적대적 예제 없이도 다양한 아키텍처와 데이터셋에서 로버스트성을 향상시키는 것이 가능함을 입증하는 것.
• 기존 최신 적대적 훈련 방법과 HBaR를 통합하여 로버스트성을 추가로 향상시키는 것.

제안 방법

• 입력과 잠재 표현 간의 HSIC를 최소화하면서 출력에 관련된 정보를 유지하는 정규화자인 HSIC-Bottleneck-as-Regularizer(HBaR)를 도입한다.
• 표준 교차 엔트로피 손실 외에도 딥 네ural 네트워크의 모든 중간층에 HSIC 정규화자를 적용한다.
• 이론적 분석을 통해 HBaR가 입력 노이즈가 잠재 표현에 미치는 영향을 제약함으로써 분류기의 적대적 편향에 대한 민감도를 감소시킴을 보여준다.
• FGSM, PGD, CW 및 AutoAttack를 사용하여 ResNet-18과 WideResNet-28-10을 기반으로 CIFAR-10 및 CIFAR-100에서 HBaR의 실험적 검증을 수행한다.
• PGD, TRADES, MART와 같은 적대적 훈련 기반 방법과 HBaR를 결합하여 일관된 로버스트성 향상 효과를 입증한다.
• 통계적 신뢰성을 확보하기 위해 다수의 랜덤 시드(5회 반복)를 사용하여 평균과 표준편차를 보고한다.

실험 결과

연구 질문

• RQ1 적대적 예제 없이도 HSIC 기반 정규화가 딥 네ural 네트워크의 적대적 로버스트성을 향상시킬 수 있는가?
• RQ2 로버스트성과 계산 효율성 측면에서, HBaR는 상호정보량 기반 정보 볼록화 방법과 비교해 어떻게 성능을 내는가?
• RQ3 TRADES나 MART와 같은 최신 적대적 훈련 방법에 HBaR를 적용했을 때 로버스트성이 향상되는가?
• RQ4 HBaR가 적대적 편향에 대한 민감도를 감소시키는 데 이론적으로 어떤 근거가 있는가?
• RQ5 AutoAttack와 같은 강력하고 적응형 공격에 대해 HBaR는 어떻게 성능을 내는가?

주요 결과

• ResNet-18 기반 CIFAR-10에서 HBaR는 PGD 훈련과 결합했을 때 자연 정확도 63.84%와 FGSM 로버스트성 31.59%를 달성한다.
• WideResNet-28-10 기반 CIFAR-100에서 HBaR + MART는 자연 정확도 58.93%와 FGSM 로버스트성 33.49%를 기록하여 MART 단독 훈련(자연 정확도 58.42%, FGSM 로버스트성 32.94%)을 능가한다.
• 적대적 예제 없이도 HBaR는 로버스트성을 향상시킨다: 단순한 SGD 훈련에서도 성능 향상이 가능하며, 이는 IB 기반 방법에 비해 핵심적 이점이다.
• CIFAR-100에서 TRADES와 결합했을 때 HBaR는 PGD-20 로버스트성을 31.32%에서 31.96%로 향상시켜, 다양한 공격 유형에 걸쳐 일관된 개선 효과를 보였다.
• 다섯 개의 랜덤 시드에서 HBaR는 모든 보고된 지표에서 표준편차가 0.15 이하로 낮은 변동성을 유지하여 안정적인 성능을 보였다.
• IB 기반 접근법 중에서 최신 기술 수준의 성능을 달성하였으며, 다양한 데이터셋, 아키텍처, 공격 유형에서 일관되게 로버스트성을 향상시켰다.