[논문 리뷰] Robust Convolutional Neural Networks under Adversarial Noise

Jonghoon Jin, Ayşegül Dündar외 1명|arXiv (Cornell University)|2015. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 67

한 줄 요약

이 논문은 입력 픽셀을 가우시안 노이즈를 가진 랜덤 변수로 모델링하여 적대적 노이즈에 대한 강건성을 향상시키는 스토하스틱 피드포워드 컨volution 신경망(CNN)을 제안한다. 스토하스틱성은 컨볼루션, ReLU, 최대 풀링 레이어에 파라미터화된 평균과 분산을 사용해 픽셀당 적용하여, 특히 ImageNet과 같은 어려운 작업에서 표준 모델 및 적대적 훈련 모델을 능가하는 강건한 분류 정확도를 달성한다.

ABSTRACT

Recent studies have shown that Convolutional Neural Networks (CNNs) are vulnerable to a small perturbation of input called "adversarial examples". In this work, we propose a new feedforward CNN that improves robustness in the presence of adversarial noise. Our model uses stochastic additive noise added to the input image and to the CNN models. The proposed model operates in conjunction with a CNN trained with either standard or adversarial objective function. In particular, convolution, max-pooling, and ReLU layers are modified to benefit from the noise model. Our feedforward model is parameterized by only a mean and variance per pixel which simplifies computations and makes our method scalable to a deep architecture. From CIFAR-10 and ImageNet test, the proposed model outperforms other methods and the improvement is more evident for difficult classification tasks or stronger adversarial noise.

연구 동기 및 목표

• 작은, 눈에 띄지 않는 입력 변형으로 인해 잘못 분류되는 표준 CNN의 취약성을 해결한다.
• 고속 프레임 레이트 및 변동성이 큰 센서 노이즈가 흔한 모바일 이미징과 같은 실세계 응용 분야에서 입력 노이즈가 흔할 경우의 강건성을 향상시킨다.
• 적대적 훈련이 필요 없이 적대적 노이즈 하에서도 성능을 유지하는 확장 가능한 피드포워드 CNN 아키텍처를 개발한다.
• 모든 레이어를 통해 입력 불확실성을 전파하기 위해 파라미터 기반 통계 모델링을 사용해 강건한 의사결정을 가능하게 한다.
• ImageNet과 같은 도전적인 데이터셋에서 일반화 및 강건성 향상에 스토하스틱 모델링이 효과적인지 입증한다.

제안 방법

• 입력 픽셀을 평균이 원래 픽셀 값과 같고 고정된 분산 σ²를 갖는 정규분포 랜덤 변수로 모델링하여 입력 레이어에서 스토하스틱성을 도입한다.
• 컨볼루션 레이어를 수정하여 출력 분포의 1차 및 2차 모멘트(평균 및 분산)를 계산한다. 공식은 E[Y] = ΣωE[X] + b 및 Var[Y] = Σω²Var[X]를 사용한다.
• Y = max(X, θ)인 경우, 캄프된 정규분포의 평균과 분산을 도출하기 위해 표준 정규분포의 누적분포함수 Φ와 밀도함수 φ를 활용한다.
• 두 정규분포 랜덤 변수의 최댓값 분포를 정확하게 사용하여 스토하스틱 최대 풀링을 구현하며, 평균에 따라 순서를 정함으로써 근사 오차를 줄인다.
• 픽셀당 하나의 평균과 하나의 분산만을 갖는 파라미터 기반 모델을 사용하여 AlexNet 및 NIN과 같은 깊은 아키텍처로의 확장 가능성을 확보한다.
• 표준 또는 적대적 목적 함수를 사용해 네트워크를 훈련한 후, 추론 시 스토하스틱 피드포워드 모델을 적용하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 레이어 및 네트워크 레이어에 스토하스틱성을 도입함으로써 적대적 노이즈에 대한 강건성을 향상시킬 수 있는가? 이 경우 적대적 훈련이 필요하지 않은가?
• RQ2 증가하는 수준의 적대적 노이즈 하에서 제안된 스토하스틱 피드포워드 모델은 표준 및 적대적 훈련된 CNN과 비교해 어떻게 성능을 내는가?
• RQ3 더 어려운 분류 작업, 예를 들어 ImageNet에서 강력한 노이즈 조건 하에 스토하스틱 모델이 더 큰 정확도 향상을 제공하는가?
• RQ4 적대적 노이즈 하에서의 강건성과 청소년 이미지에서의 성능 간의 상호 교환 관계는 어떠한가?
• RQ5 스토하스틱 모델을 표준 CNN과 앙상블하여 결합할 경우, 정확도 손실 최소화로 전체적인 강건성을 향상시킬 수 있는가?

주요 결과

• CIFAR-10에서 스토하스틱 피드포워드(FF) 모델은 표준 훈련 시 72.3%에서 0.5픽셀 적대적 노이즈 조건 하에 78.1%로 정확도가 향상되어 5.8% 향상되었다.
• ImageNet에서는 표준 훈련으로 0.01픽셀 적대적 노이즈 조건 하에서 스토하스틱 FF가 33.4%의 정확도를 기록했고, 표준 훈련만으로는 24.8%에 머물러 8.6% 향상되었다.
• 더 강한 노이즈(0.5 픽셀) 조건에서는 스토하스틱 FF가 ImageNet에서 여전히 33.4%의 정확도를 유지했지만, 적대적 훈련은 수렴하지 못해 근사 무작위 성능으로 떨어졌다.
• 스토하스틱 모델을 표준 CNN과 앙상블한 결과, ImageNet에서 적대적 노이즈 하에 13.12%의 강건성 향상을 달성했고, 청소년 이미지 정확도는 단지 0.28% 감소했다.
• 이 방법은 AlexNet 및 NIN과 같은 깊은 네트워크로도 확장 가능하며, 픽셀당 평균 및 분산을 갖는 파라미터 기반 노이즈 모델은 효율적인 계산을 가능하게 한다.
• 입력 분산이 너무 높아지면(균일분포에 가까워짐) 또는 너무 낮아지면(수치적 불안정성) 모델 성능이 저하됨을 확인하여 하이퍼파rameter 조정에 민감함을 시사한다.