[논문 리뷰] Suppressing the Unusual: towards Robust CNNs using Symmetric Activation Functions

Qiyang Zhao, Lewis D. Griffin|arXiv (Cornell University)|2016. 03. 16.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 20

한 줄 요약

이 논문은 특징 맵 내 이상하거나 이질적인 신호를 억제함으로써 딥 CNN의 강건성을 향상시키기 위해 대칭 활성화 함수(SAFs)를 제안한다. 표준 ReLU나 시그모이드 유닛을 1-D RBF 또는 mReLU와 같은 SAFs로 대체함으로써, 깨끗한 데이터에서 정확도 저하가 최소화되면서도 적대적, 무의미한, 노이즈가 섞인 샘플에 대해 상당히 향상된 강건성을 달성한다.

ABSTRACT

Many deep Convolutional Neural Networks (CNN) make incorrect predictions on adversarial samples obtained by imperceptible perturbations of clean samples. We hypothesize that this is caused by a failure to suppress unusual signals within network layers. As remedy we propose the use of Symmetric Activation Functions (SAF) in non-linear signal transducer units. These units suppress signals of exceptional magnitude. We prove that SAF networks can perform classification tasks to arbitrary precision in a simplified situation. In practice, rather than use SAFs alone, we add them into CNNs to improve their robustness. The modified CNNs can be easily trained using popular strategies with the moderate training load. Our experiments on MNIST and CIFAR-10 show that the modified CNNs perform similarly to plain ones on clean samples, and are remarkably more robust against adversarial and nonsense samples.

연구 동기 및 목표

• 깊은 CNN의 적대적 및 무의미한 샘플에 대한 취약성을 해결하기 위해, 시각적으로 구분되지 않는 변형이나 무작위로 생성된 입력이 고신뢰도 오분류를 유도하는 문제를 다루는 것.
• 네트워크 아키텍처나 학습 절차를 변경하지 않고도, 네트워크 레이어 내에서 특이한 크기의 신호를 억제함으로써 강건성을 향상시킬 수 있는지 탐구하는 것.
• 네트워크 아키텍처나 학습 절차를 변경하지 않고도 강건성을 향상시킬 수 있는 경량의 플러그인 솔루션인 대칭 활성화 함수(SAFs)를 제안하는 것.
• 표준 벤치마크(MNIST 및 CIFAR-10)에서 다양한 변형 유형(적대적, 무의미한, 노이즈가 섞인 샘플 포함)에 대해 SAF의 효과를 평가하는 것.

제안 방법

• 1-D RBF 및 수정된 ReLU(mReLU)를 포함한 대칭 활성화 함수(SAFs)를 도입하여, 라디얼 기저 함수의 내재된 강건성에 영감을 받아 특이한 크기의 입력을 설계적으로 억제하는 방식.
• 완전 연결 또는 합성곱 레이어에 SAFs를 삽입하거나 대체함으로써 CNN에 통합하며, 원래의 네트워크 구조와 학습 파ip라인을 유지하는 방식.
• 추가 정규화나 적대적 훈련 없이도 표준 훈련 전략(예: 관성 항법을 가진 SGD)을 사용하여 저비용의 계산 부하를 확보하는 방식.
• 훈련 중 무작위 및 평균 데이터 증강(예: 'r-m' 변종)을 사용하여 CIFAR-10에서 특히 강건성을 향상시키는 방식.
• 입력 왜곡 정도를 정량화하기 위해 변형 강도 β와 PSNR를 사용하여 깨끗한, 적대적인, 무의미한, 노이즈가 섞인 샘플에서의 정확도를 측정하는 방식.
• 다양한 변형 수준에서 오류율과 분류 정확도를 비교하여 일반화 능력과 안정성에 중점을 두고 성능를 평가하는 방식.

실험 결과

연구 질문

• RQ1 대칭 활성화 함수는 CNN 특징 맵 내 이질적인 신호를 억제하여 적대적 및 무의미한 샘플에 대한 강건성을 향상시킬 수 있는가?
• RQ2 표준 CNN에 SAFs를 통합함으로써 깨끗한 데이터에서의 성능 저하 없이 강건성을 향상시킬 수 있는가?
• RQ3 적대적, 무의미한, 노이즈가 섞인 변형에 대해 SAF 기반 CNN의 성능은 표준 ReLU 기반 모델과 비교해 어떻게 되는가?
• RQ4 SAFs는 적대적 훈련이나 아키텍처 변경 없이도 표준 훈련 절차와 효과적으로 조합될 수 있는가?
• RQ5 개선된 테스트 정확도를 보이는 일부 SAF 변종에서 제안된 바와 같이, 강건성과 일반화 능력 사이에 상관관계가 존재하는가?

주요 결과

• mReLU-r-m 변종은 깨끗한 CIFAR-10 샘플에서 0.226의 오류율을 기록했으며, 이는 순수한 CNN의 0.217보다 略적으로 높은 성능로 일반화 이점이 있을 수 있음을 시사한다.
• β = 0.050인 적대적 샘플에서 mReLU-r-m 모델의 오류율은 0.541이었고, 순수한 CNN의 0.933에 비해 극적으로 향상된 강건성을 보였다.
• 무의미한 샘플에서 β = 0.075일 때 mReLU-r-m 모델은 0.008의 오류율을 기록했고, 순수한 CNN은 0.880에 도달하여 거의 완벽한 강건성을 입증했다.
• 노이즈가 섞인 샘플에서 β = 0.150일 때 mReLU-r-m 모델은 0.295의 오류율을 기록했고, 순수한 CNN의 0.656에 비해 고노이즈 입력에 강력한 내성을 보였다.
• SAF 기반 모델은 깨끗한 데이터에서 유사한 정확도를 유지하면서도 모든 변형된 데이터 유형에서 뚜렷이 뛰어난 성능을 보였으며, 이는 이질적 신호 억제의 효과를 확인했다.
• MNIST에 비해 CIFAR-10에서 강건성 향상 효과가 더 두드러졌는데, 이는 CIFAR-10이 훈련 샘플 수가 적고 결정 경계 민감도가 높기 때문일 것이다.