[논문 리뷰] On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations

Nicholas Cheney, Martin Schrimpf외 1명|arXiv (Cornell University)|2017. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 36

한 줄 요약

이 논문은 랜덤 가중치 제거, 노드 제거, 가중치 수정과 같은 내부 교란에 대해 사전 훈련된 합성곱 신경망(예: AlexNet, VGG-16)의 내성적 내성에 대해 조사한다. 결과적으로, 더 높은 합성곱 및 완전 연결 계층은 연결의 70%가 제거된 후에도 70% 이상의 정확도를 유지하는 등 매우 강건한 반면, 첫 번째 합성곱 계층은 유사한 교란 조건에서 정확도가 우연수준으로 급격히 떨어지는 등 매우 취약한 것으로 나타났다.

ABSTRACT

Deep convolutional neural networks are generally regarded as robust function approximators. So far, this intuition is based on perturbations to external stimuli such as the images to be classified. Here we explore the robustness of convolutional neural networks to perturbations to the internal weights and architecture of the network itself. We show that convolutional networks are surprisingly robust to a number of internal perturbations in the higher convolutional layers but the bottom convolutional layers are much more fragile. For instance, Alexnet shows less than a 30% decrease in classification performance when randomly removing over 70% of weight connections in the top convolutional or dense layers but performance is almost at chance with the same perturbation in the first convolutional layer. Finally, we suggest further investigations which could continue to inform the robustness of convolutional networks to internal perturbations.

연구 동기 및 목표

• 사전 훈련된 딥 컨볼루션 신경망이 가중치 및 아키텍처 변화와 같은 내부 교란에 얼마나 강건한지 이해하는 것.
• 내부 교란으로 인한 성능 저하가 초기 계층과 더 높은 합성곱 계층 간에 어떻게 다를지 조사하는 것.
• 랜덤 시냅스 및 노드 제거 조건에서 특징 표현의 강건성을 정량화하는 것.
• 이 강건성의 의미를 온라인 학습, 하드웨어 고장, 동적 연결성을 가진 생물학적 신경망에 적용하는 것.
• 체계적인 교란 분석을 통해 딥 네트워크 내의 부여 및 분산 특징 인코딩에 대한 경험적 증거를 제공하는 것.

제안 방법

• Keras와 Theano 백엔드를 사용하여 사전 훈련된 AlexNet 및 VGG-16 모델에 계층별로 교란을 적용.
• 세 가지 유형의 내부 교란: (1) 시냅스 제거(랜덤으로 가중치를 0으로 설정), (2) 노드 제거(선택된 노드의 모든 가중치 제거), (3) 가중치 교란(가중치에 평균 0인 가우시안 노이즈 추가).
• 교란 강도는 비율에 따라 변동: 연결 또는 노드의 0%에서 70%까지 제거하며, ImageNet에서의 top-1 이미지 분류 정확도로 성능 측정.
• 모든 계층에서 성능 모니터링을 수행하였으며, 초기 합성곱 계층(예: conv1)과 더 높은 계층(예: conv3–5, dense 계층)에 중점을 두었다.
• 증가하는 교란 수준에 따른 성능 저하의 통계적 유의성은 p-값을 사용해 검증.
• 선형 대 비선형 성능 저하의 비교 분석을 통해 재건성 및 분산 특징 표현의 특성을 추론.

실험 결과

연구 질문

• RQ1 다양한 계층에서 랜덤으로 시냅스 연결을 제거할 경우, 사전 훈련된 CNN의 분류 성능는 어떻게 저하되는가?
• RQ2 노드 제거와 시냅스 제거 간의 성능 저하 정도는 어떻게 비교되며, 이는 특징 표현에 대해 어떤 통찰을 제공하는가?
• RQ3 더 높은 합성곱 및 완전 연결 계층이 초기 합성곱 계층보다 내부 교란에 대해 얼마나 더 강건한가?
• RQ4 교란 조건에서의 성능 저하 경향은 선형인지 비선형인지, 이는 특징 인코딩의 재건성에 대해 어떤 함의를 갖는가?
• RQ5 관측된 강건성은 분산 표현인지 아키텍처 설계 때문인지, 이는 온라인 학습이나 고장 내성 하드웨어 설계에 어떻게 기여할 수 있는가?

주요 결과

• AlexNet은 상위 합성곱 또는 완전 연결 계층에서 연결의 70%가 무작위로 제거된 후에도 70% 이상의 top-1 정확도를 유지한다.
• 반면, 첫 번째 합성곱 계층(conv1)에서 연결의 70%를 제거하면 분류 성능가 우연수준으로 급격히 떨어지며, 이는 매우 취약함을 시사한다.
• 노드 제거 조건에서의 성능 저하는 시냅스 제거 조건보다 유의미하게 더 급격하여, 더 높은 계층의 특징이 다수의 재건성 입력에 의존하고 있음을 시사한다.
• 증가하는 시냅스 제거 비율에 따라 성능 저하가 비선형적으로 나타나, 더 높은 계층의 특징이 부분적으로 중복되는 다수의 낮은 수준의 특징에 의해 표현되고 있음을 나타낸다.
• 교란이 다수의 후행 계층에 영향을 줘도 상위 계층의 강건성이 유지되며, 이는 영향이 상류 계층의 오류 전파 때문만은 아님을 시사한다.
• 낮은 제거 비율(예: dense_2에서 10% 시냅스 제거 시 p ≤ 0.0167)에서도 일부 이미지에 대해 단조로운 성능 저하가 관찰되어, 특징 간 완전한 재건성이 제한되어 있음을 시사한다.