[논문 리뷰] Improving Adversarial Robustness in Weight-quantized Neural Networks

Chang Song, Elias Fallon외 1명|arXiv (Cornell University)|2020. 12. 29.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 8

한 줄 요약

이 논문은 경계 기반 재학습 방법과 비선형 매핑을 조합하여 가중치 양자화 신경망에서 동시에 적대적 손실과 양자화 손실을 감소시키는 방법을 제안한다. 리프시츠 상수를 분석하고 두 유형의 강건성에 대해 최적화함으로써, 이 방법은 백색상자 공격과_BLK-BOX 공격 하에서 각각 MNIST와 CIFAR-10에서 평균 정확도 향상률이 20.54%와 52.69%에 달하며, 이는 이전 베이스라인 대비 각각 7.55%와 27.84% 향상된 성능을 기록한다.

ABSTRACT

Neural networks are getting deeper and more computation-intensive nowadays. Quantization is a useful technique in deploying neural networks on hardware platforms and saving computation costs with negligible performance loss. However, recent research reveals that neural network models, no matter full-precision or quantized, are vulnerable to adversarial attacks. In this work, we analyze both adversarial and quantization losses and then introduce criteria to evaluate them. We propose a boundary-based retraining method to mitigate adversarial and quantization losses together and adopt a nonlinear mapping method to defend against white-box gradient-based adversarial attacks. The evaluations demonstrate that our method can better restore accuracy after quantization than other baseline methods on both black-box and white-box adversarial attacks. The results also show that adversarial training suffers quantization loss and does not cooperate well with other training methods.

연구 동기 및 목표

• 가중치 양자화된 신경망에서 적대적으로 훈련된 모델의 양자화 손실에 대한 취약성을 해결하기 위해.
• 적대적 손실과 양자화 유도 오차를 동시에 완화하는 통합된 방법을 개발하기 위해.
• 리프시츠 상수를 측정 척도로 사용하여 적대적 강건성과 양자화 강건성 간의 상호작용을 분석하기 위해.
• 적대적 훈련이 양자화 인식 훈련 또는 기타 훈련 기법과 잘 맞지 않는다는 것을 검증하기 위해.
• 자원 제약이 있는 장치에 실질적으로 구현 가능한 효과적인 방어 전략을 제안하기 위해.

제안 방법

• 경계 기반 재학습 방법을 사용하여 적대적 손실과 양자화 손실을 공동 최적화 프레임워크 내에서 최소화한다.
• 백색상자 기반 기울기 공격(예: PGD, FGSM)에 대응하기 위해 최종 레이어에 비선형 매핑을 적용한다.
• 각 레이어에서의 오차 증폭 정도를 측정하기 위해, 가중치 양자화 오차(∆W)의 리프시츠 상수를 최대 특이값을 사용하여 계산한다.
• 양자화 오차 증폭이 가장 두드러진 곳인 마지막 몇 개의 레이어에 재학습 및 비선형 매핑을 집중적으로 적용한다.
• 표준 적대적 공격(FGSM, PGD, CW)을 사용하여 MNIST와 CIFAR-10에서 방법을 평가한다.
• 적대적 훈련과 양자화 인식 훈련을 결합할 경우 목적 함수의 목적이 맞지 않아 성능 저하가 발생하므로 이를 피한다.

실험 결과

연구 질문

• RQ1 왜 적대적으로 훈련된 모델은 양자화 시에 심각한 성능 저하를 겪는가?
• RQ2 가중치 양자화된 네트워크에서 어떻게 적대적 강건성과 양자화 강건성을 동시에 최적화할 수 있는가?
• RQ3 가중치 양자화 오차의 리프시츠 상수가 취약한 레이어를 식별하는 데 어떤 역할을 하는가?
• RQ4 비선형 매핑은 양자화된 모델에서 백색상자 기반 기울기 공격에 효과적으로 대응할 수 있는가?
• RQ5 왜 적대적 훈련과 양자화 인식 훈련을 결합하면 성능이 악화되는가?

주요 결과

• 제안된 방법인 F.L.+mu (Q)는 백색상자 및 블랙박스 공격 조건 하에서 원본 양자화 모델 대비 MNIST에서 평균 정확도 향상률 20.54%, CIFAR-10에서 52.69% 향상되었다.
• 두 번째로 우수한 베이스라인인 F.L. (Q) 대비 MNIST에서 평균 정확도 향상률 7.55%, CIFAR-10에서 27.84% 향상되었다.
• 적대적으로 훈련된 모델은 CIFAR-10의 최종 레이어에서 리프시츠 상수가 2를 초과함을 보이며 강한 양자화 오차 증폭을 나타내지만, 제안된 방법은 이를 1 이하로 유지한다.
• 비선형 매핑은 적대적 모델의 마지막 레이어에서 리프시츠 상수를 34.29% 증가시켜, 양자화에 민감한 특성을 확인한다.
• 특히 마지막 완전 연결 레이어를 포함한 마지막 몇 개의 레이어에서 양자화 오차 증폭이 가장 심각하여 방어의 핵심 대상이 된다.
• 적대적 훈련과 양자화 인식 훈련을 결합할 경우 성능 저하가 발생함으로써, 두 기법의 최적화 목적 함수 간의 불일치가 확인되었다.