[논문 리뷰] Intrinsic Biologically Plausible Adversarial Robustness

Matilde Tristany Farinha, Thomas Ortner외 3명|arXiv (Cornell University)|2023. 09. 29.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 생물학적으로 타당한 학습 알고리즘인 PEPITA로 훈련된 인공신경망(ANNs)이 백프로파게이션(BP)으로 훈련된 네트워크보다 훨씬 높은 내재적 적대적 내성성을 보임을 입증한다. BP와 달리, PEPITA는 적대적 훈련 없이도 적대적 샘플에서 뛰어난 성능을 유지하며, 자연적 성능 대 적대적 성능 간의 상충 관계가 훨씬 유리하여 동일한 자연적 성능 수준에서 BP의 8.05% 대비 평균 0.26%의 적대적 성능 감소만을 보인다.

ABSTRACT

Artificial Neural Networks (ANNs) trained with Backpropagation (BP) excel in different daily tasks but have a dangerous vulnerability: inputs with small targeted perturbations, also known as adversarial samples, can drastically disrupt their performance. Adversarial training, a technique in which the training dataset is augmented with exemplary adversarial samples, is proven to mitigate this problem but comes at a high computational cost. In contrast to ANNs, humans are not susceptible to misclassifying these same adversarial samples. Thus, one can postulate that biologically-plausible trained ANNs might be more robust against adversarial attacks. In this work, we chose the biologically-plausible learning algorithm Present the Error to Perturb the Input To modulate Activity (PEPITA) as a case study and investigated this question through a comparative analysis with BP-trained ANNs on various computer vision tasks. We observe that PEPITA has a higher intrinsic adversarial robustness and, when adversarially trained, also has a more favorable natural-vs-adversarial performance trade-off. In particular, for the same natural accuracies on the MNIST task, PEPITA's adversarial accuracies decrease on average only by 0.26% while BP's decrease by 8.05%.

연구 동기 및 목표

• 생물학적으로 타당한 학습 알고리즘인 PEPITA가 백프로파게이션(BP)보다 더 높은 내재적 적대적 내성성을 달성할 수 있는지 조사하는 것.
• BP와 PEPITA가 모두 적대적 훈련을 받을 경우 자연적 성능 대 적대적 성능 간의 성능 상충 관계를 비교하는 것.
• 약한 공격(예: FGSM)을 사용한 빠른 적대적 훈련이 PEPITA 모델과 BP 모델에 대해 얼마나 효과적인지 평가하는 것.
• 생물학적으로 영감을 받은 학습 메커니즘이 기울기 기반 적대적 공격에 대해 더 강건한 모델을 자연스럽게 유도하는지 확인하는 것.

제안 방법

• 연구는 동일한 네트워크 아키텍처와 하이퍼파라미터를 사용하여 표준 컴퓨터 비전 벤치마크(예: MNIST, CIFAR-10)에서 BP와 PEPITA를 비교한다.
• PEPITA는 가중치가 연결된 기울기나 별도의 역전파 단계가 필요 없이 피드백 기반 오차 조절을 통해 두 번째 전방전파를 통해 학습 신호를 계산한다.
• 적대적 훈련은 FGSM로 생성된 적대적 샘플을 사용하여 빠른 훈련 제도에서의 내성성을 평가한다.
• 강력한 공격(예: PGD) 하에서 자연적 정확도와 적대적 정확도를 측정하며, 다양한 변형 크기에서 성능을 추적한다.
• 내재적 내성성은 자연 데이터로만 훈련된 모델을 적대적 변형에 대해 테스트하여 평가한다.
• 노이즈 수준과 하이퍼파라미터 설정의 영향을 분석하기 위해 노이즈 및 파라미터 설정에 대한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 PEPITA는 적대적 훈련 없이도 내재적 적대적 내성성을 보일 수 있는가? (BP와는 반대로)
• RQ2 BP와 PEPITA가 모두 적대적 훈련을 받을 경우, 자연적 성능 대 적대적 성능 간의 성능 상충 관계는 어떻게 비교되는가?
• RQ3 약한 적대적 샘플(예: FGSM)을 사용한 빠른 적대적 훈련이 강력한 공격(예: PGD)에 대해 PEPITA에서 BP보다 더 나은 내성성을 유도하는가?
• RQ4 생물학적으로 타당한 학습 알고리즘인 PEPITA가 계산적으로 비용이 많이 드는 훈련 절차에 의존하지 않고도 BP와 동등하거나 더 뛰어난 내성성을 달성할 수 있는가?

주요 결과

• PEPITA 모델은 자연 데이터로만 훈련된 상태에서도 적대적 샘플에서 높은 정확도를 유지하며, 이는 BP 모델과는 다릅니다.
• 적대적 훈련을 받은 후, PEPITA는 자연적 성능 대 적대적 성능 간의 상충 관계에서 훨씬 유리한 성과를 보이며, 동일한 자연적 성능 수준에서 BP의 8.05% 대비 평균 0.26%의 적대적 성능 감소만을 보입니다.
• 약한 적대적 샘플(예: FGSM)로 훈련된 PEPITA 모델은 강력한 공격(예: PGD)으로의 일반화 능력이 뛰어나, 동일한 훈련 제도에서 BP보다 더 뛰어난 내성성을 보입니다.
• 학습 중 기울기를 계산하는 방식, 특히 PEPITA에서 피드백 기반 메커니즘을 통해 기울기를 계산하는 방식이 적대적 내성성에 결정적인 역할을 한다는 것이 확인되었으며, 이는 생물학적으로 타당한 학습과 내성성 간의 연관성을 시사합니다.
• PEPITA의 내성성은 아키텍처나 하이퍼파라미터의 차이 때문이 아니며, 동일한 조건에서 훈련된 모델을 통해 학습 알고리즘이 핵심 요소임을 분리하여 확인할 수 있었습니다.
• 결과는 PEPITA의 피드백 기반 학습 메커니즘이 내재적으로 강건한 특징 학습을 촉진하여 기울기 기반 적대적 공격에 대한 민감도를 감소시킨다는 것을 시사합니다.