[논문 리뷰] Feature Prioritization and Regularization Improve Standard Accuracy and Adversarial Robustness

Chihuang Liu, Joseph F. JáJá|arXiv (Cornell University)|2018. 10. 04.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 비선형 주의 모듈과 L2 특징 정규화를 통해 특징 우선순위를 부여함으로써 적대적 훈련을 향상시키는 방법을 제안한다. 이는 표준 정확도와 적대적 내성 간의 균형을 동시에 향상시킨다. 주의 메커니즘은 강건하고 레이블 관련 특징을 강조하면서 비강건한 특징을 억제하며, 정규화는 정제된 입력과 적대적 입력 간의 특징 불변성을 장려한다. 이로 인해 MNIST, CIFAR-10, CIFAR-100에서 최고 성능을 기록한다.

ABSTRACT

Adversarial training has been successfully applied to build robust models at a certain cost. While the robustness of a model increases, the standard classification accuracy declines. This phenomenon is suggested to be an inherent trade-off. We propose a model that employs feature prioritization by a nonlinear attention module and $L_2$ feature regularization to improve the adversarial robustness and the standard accuracy relative to adversarial training. The attention module encourages the model to rely heavily on robust features by assigning larger weights to them while suppressing non-robust features. The regularizer encourages the model to extract similar features for the natural and adversarial images, effectively ignoring the added perturbation. In addition to evaluating the robustness of our model, we provide justification for the attention module and propose a novel experimental strategy that quantitatively demonstrates that our model is almost ideally aligned with salient data characteristics. Additional experimental results illustrate the power of our model relative to the state of the art methods.

연구 동기 및 목표

• 적대적 훈련에서 표준 정확도 대비 적대적 내성 간의 상충 관계를 해결하기 위해.
• 모델이 강건하고 불변하는 특징에 의존하도록 명시적으로 장려하는 방법을 개발하기 위해.
• 기울기 맵을 밝은 데이터 특성과 일치시킴으로써 모델의 해석 가능성 향상을 위해.
• 기울기 맵과 입력 데이터 간의 일치 정도를 정량적으로 평가하기 위해.
• 적대적 훈련과 최신 기준 모델 대비 뛰어난 성능을 입증하기 위해.

제안 방법

• 전체 특징과의 상관관계에 기반해 局부 특징에 더 높은 가중치를 할당하는 비선형 주의 모듈을 도입하여, 이는 분류에 사용되는 특징이다.
• 비선형 호환성 함수를 사용해 주의 가중치를 계산하며, 이는 레이블과 높은 상관관계를 가지는 특징을 선호한다.
• 정제된 이미지와 그 적대적 변형 간의 특징 간 L2 거리를 최소화하기 위해 L2 특징 정규화를 적용한다.
• 정규화 항은 정제된 입력과 변형된 입력에서 유사한 특징을 추출하도록 모델을 장려하여, 적대적 노이즈를 효과적으로 무시한다.
• 밝은 데이터 특성과의 일치 정도를 정량적으로 측정하기 위해 기울기 맵 분류 정확도를 사용하는 새로운 평가 전략을 도입한다.
• 적대적 훈련과 주의 및 정규화 구성 요소를 결합하여 최종 모델(AT-att-reg)을 구성한다.

실험 결과

연구 질문

• RQ1 주의를 통한 특징 우선순위 부여가 표준 정확도와 적대적 내성 양쪽을 향상시킬 수 있는가?
• RQ2 L2 특징 정규화가 흐름에 대한 특징 불변성을 증진시켜 내성을 향상시키는가?
• RQ3 모델의 기울기 맵이 밝은 데이터 특성과 얼마나 잘 일치하는가? 이는 강건한 특징에 의존하고 있음을 시사한다.
• RQ4 제안된 방법이 적대적 훈련과 다른 최신 기준 방법 대비 정량적으로 어떻게 비교되는가?
• RQ5 주의 기반 메커니즘이 비강건한 배경 특징을 효과적으로 억제하는가?

주요 결과

• CIFAR-10에서 제안된 모델(AT-att-reg)은 클리핑을 적용한 기울기 맵에서 31.59%의 테스트 정확도를 기록하여, Madry et al.의 모델(28.72%)을 뛰어넘었다.
• CIFAR-100에서 제안된 모델는 PGD 공격 하에서 기준 적대적 훈련 대비 최대 4% 향상된 강건 정확도를 기록했다.
• CW-100 공격에서 제안된 모델는 적대적 로짓 페어링(ALP)을 3.8% 초월하여, 특징 수준의 정규화가 우월함을 입증했다.
• 제안된 모델의 기울기 맵은 원본 이미지와 더 잘 일치하며, 강건하고 밝은 특징에 더 강하게 의존하고 있음을 시사한다.
• 정성적 분석을 통해 주의 기반 메커니즘이 객체 영역에 집중하고 배경의 혼잡함을 억제함을 확인했다.
• 적대적 훈련만을 사용한 경우보다 제안된 모델은 더 높은 표준 정확도와 더 뛰어난 적대적 내성을 확보하여, 제안된 구성 요소의 효과성을 입증했다.