[논문 리뷰] Improving Network Robustness against Adversarial Attacks with Compact Convolution

Rajeev Ranjan, Swami Sankaranarayanan외 2명|arXiv (Cornell University)|2017. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 14

한 줄 요약

이 논문은 L2-Softmax 손실과 새로운 컴팩트 컨볼루션 모듈을 통해 특성의 밀도를 강제하여 적대적 방어 성능을 햖थ한 Compact Convolutional Networks (CCNs)를 제안한다. 모든 레이어에서 특성을 초구면 위에 정규화함으로써 CCNs는 적대적 편향에 대한 민감도를 감소시켜, 추가적인 학습 오버헤드 없이 화이트박스 및_BLK박스 공격에 대해 최신 기술 수준의 방어 성능을 달성한다.

ABSTRACT

Though Convolutional Neural Networks (CNNs) have surpassed human-level performance on tasks such as object classification and face verification, they can easily be fooled by adversarial attacks. These attacks add a small perturbation to the input image that causes the network to misclassify the sample. In this paper, we focus on neutralizing adversarial attacks by compact feature learning. In particular, we show that learning features in a closed and bounded space improves the robustness of the network. We explore the effect of L2-Softmax Loss, that enforces compactness in the learned features, thus resulting in enhanced robustness to adversarial perturbations. Additionally, we propose compact convolution, a novel method of convolution that when incorporated in conventional CNNs improves their robustness. Compact convolution ensures feature compactness at every layer such that they are bounded and close to each other. Extensive experiments show that Compact Convolutional Networks (CCNs) neutralize multiple types of attacks, and perform better than existing methods in defending adversarial attacks, without incurring any additional training overhead compared to CNNs.

연구 동기 및 목표

• 작고 눈에 띄지 않는 적대적 편향으로 인해 오분류를 일으키는 CNN의 취약성을 해결하기 위해.
• 학습된 특성 공간에서 밀도를 강제하면 적대적 공격에 대한 강건성이 향상되는지 조사하기 위해.
• 모든 레이어에서 특성의 밀도를 강제하는 새로운 컨볼루션 연산인 컴팩트 컨볼루션을 개발하기 위해.
• 컴팩트 특성 학습이 학습 복잡도를 증가시키지 않으면서도 강건성을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 특성가 고정된 반지름의 초구면 위에 위치하도록 제약하는 L2-Softmax 손실을 도입하여, 내부 클래스의 밀도와 외부 클래스 간의 분리도를 증진시킨다.
• 입력 패치마다 L2 정규화와 스케일링을 적용한 후 커널을 적용하는 방식으로 수정된 컨볼루션 연산인 컴팩트 컨볼루션을 제안하여, 모든 레이어에서 유한하고 밀도 있는 특성을 보장한다.
• 표준 CNN 아키텍처에 컴팩트 컨볼루션 모듈을 통합하여 Compact Convolutional Networks (CCNs)를 구축하고, 표준 CNN과 동일한 학습 파이프라인을 유지한다.
• t-SNE 시각화와 특이값 분석을 통해 모델 간 특성 분포와 필터 안정성(표준 모델(SM), L2SM, CCN)을 비교한다.
• FGSM, DeepFool 및 기타 적대적 공격을 사용하여 MNIST와 CIFAR-10에서 CCNs를 학습하고 평가하여 강건성을 측정한다.
• 화이트박스 및 블랙박스 공격 설정에서 표준 CNN과 L2-Softmax 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 학습된 특성 공간에서 밀도를 강제하면 네트워크의 적대적 공격에 대한 강건성이 향상되는가?
• RQ2 모든 레이어에 컴팩트 컨볼루션을 적용하면 표준 컨볼루션 대비 더 안정적이고 강건한 특성 표현이 되는가?
• RQ3 표준 소프트맥스 대비 L2-Softmax 손실이 적대적 방어 성능 향상에 얼마나 효과적인가?
• RQ4 네트워크 아키텍처의 다양한 깊이에 컴팩트 컨볼루션 모듈을 배치했을 때의 영향은 무엇인가?
• RQ5 컴팩트 특성 학습은 인간 관찰자가 적대적 예측을 감지할 수 있도록 해주며, 이는 더 큰 편향 크기를 의미하는가?

주요 결과

• MNIST에서 ε = 0.3인 FGSM 공격에 대해 CCNs는 표준 모델(31.76%)과 L2SM 모델(58.71%)보다 뚜렷하게 높은 테스트 정확도 60.32%를 달성하며, 컴팩트 모듈을 마지막 완전 연결 레이어에만 적용한 경우에도 성능 향상이 뚜렷하다.
• t-SNE 시각화 결과, CCN 및 L2SM 모델의 특성가 표준 모델보다 더 잘 분리되고 밀도가 높은 것으로 나타났으며, 특히 fc1 및 fc2와 같은 깊은 레이어에서 두드러졌다.
• 특이값 분석 결과, CCN 및 L2SM 모델는 깊은 레이어에서 특이값이 급격히 감소하는 경향을 보이며, 이는 적대적 변형의 억제력 향상과 안정성 향상을 시사한다.
• CCNs를 대상으로 한 적대적 예측은 오분류를 일으키기 위해 상당히 큰 편향을 필요로 하며, 종종 인간 관찰자가 시각적으로 감지할 수 있을 정도로 이미지가 왜곡된다.
• CCNs는 추가적인 학습 오버헤드 없이 화이트박스 및 블랙박스 공격, 즉 FGSM, DeepFool, Carlini-Wagner 공격에 대해 최신 기술 수준의 방어 성능을 달성한다.
• 밀도 강제의 효과는 깊은 레이어에서 가장 높으며, 마지막 완전 연결 레이어에 컴팩트 컨볼루션을 적용할 경우 강건성이 최고로 향상되며, 浅층에서는 수익 감소 현상이 나타난다.