[논문 리뷰] On the Vulnerability of Capsule Networks to Adversarial Attacks

Félix Michels, Tobias Uelwer외 2명|arXiv (Cornell University)|2019. 06. 09.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 15

한 줄 요약

이 논문은 캡슐 네트워크(CapsNets)가 적대적 공격에 대해 얼마나 강건한지를 평가하며, 기존에 제안된 것처럼 콘볼루션 신경망(ConvNets)보다 본질적으로 더 강건하지 않음을 입증한다. MNIST, 패션-MNIST, SVHN, CIFAR10에서 CapsNets와 ConvNets에 대해 여러 화이트박스 공격(Carlini-Wagner, 경계, DeepFool, 일반화된 편향)을 적용한 결과, 두 모델 간 유사한 취약 수준을 보였으며, 일부 경우에서 CapsNets는 유사하거나 약간 더 높은 편향 효율성을 보였다. 또한, 두 아키텍처 간 적대적 예제의 전이성이 확인되었다.

ABSTRACT

This paper extensively evaluates the vulnerability of capsule networks to different adversarial attacks. Recent work suggests that these architectures are more robust towards adversarial attacks than other neural networks. However, our experiments show that capsule networks can be fooled as easily as convolutional neural networks.

연구 동기 및 목표

• 이전에 제안된 linh처럼 캡슐 네트워크(CapsNets)가 전통적인 콘볼루션 신경망(ConvNets)보다 적대적 공격에 더 강건한지 조사하기 위해.
• Carlini-Wagner, 경계, DeepFool, 일반화된 편향 등의 다양한 화이트박스 적대적 공격 방법이 CapsNets에 얼마나 효과적인지 평가하기 위해.
• 다양한 데이터셋에서 CapsNets와 ConvNets 간 적대적 예제의 전이성 비교하기 위해.
• t-SNE 시각화를 통해 CapsNets와 ConvNets에 대해 생성된 적대적 편향의 시각적 및 구조적 차이 분석하기 위해.
• 특히 편향 크기와 공격 성공률 측면에서, 현실적인 공격 조건 하에서 CapsNets가 우월한 강건성을 유지하는지 평가하기 위해.

제안 방법

• 동적 라우팅과 주요 캡슐 레이어를 사용하여 MNIST, 패션-MNIST, SVHN, CIFAR10 데이터셋에서 마진 손실과 재구성 손실을 사용해 CapsNets를 학습시켰다.
• 네 가지 적대적 공격 방법을 적용: Carlini-Wagner(대상 지정, 화이트박스), 경계 공격(질의 기반), DeepFool(비대상), 일반화된 편향 공격.
• Carlini-Wagner 공격에서 입력 제약 조건을 만족하기 위해 tanh를 통한 변수 변환을 사용하였으며, Adam 옵티마이저로 최적화하였다.
• DeepFool 및 경계 공격을 통해 각 데이터셋당 1,000개의 적대적 예제를 생성하였고, Carlini-Wagner 공격(κ=1)을 통해 500개를 생성하였으며, 랜덤 대상 레이블을 사용하였다.
• 테스트 세트를 10개의 부분으로 나누어 정확도가 50% 이하가 되도록 편향을 학습시켜 일반화된 편향을 생성하였다.
• CapsNets와 ConvNets에 대해 생성된 편향의 구조적 차이를 비교하기 위해 t-SNE를 사용해 일반화된 편향을 시각화하였다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 화이트박스 적대적 공격에 대해 콘볼루션 신경망보다 더 강건한가?
• RQ2 Carlini-Wagner, 경계, DeepFool, 일반화된 편향 등의 다양한 적대적 공격 방법이 CapsNets에 대해 편향 크기와 성공률 측면에서 어떻게 작용하는가?
• RQ3 적대적 예제는 CapsNets와 ConvNets 간에 어느 정도 전이되는가?
• RQ4 CapsNets에 대해 생성된 편향은 ConvNets에 대해 생성된 편향과 시각적 및 구조적으로 다를까?
• RQ5 CapsNets의 동적 라우팅과 벡터 기반 표현 방식이 적대적 입력에 대해 본질적인 강건성을 제공하는가?

주요 결과

• CapsNets는 ConvNets와 유사한 테스트 정확도를 달성하였다(예: MNIST에서 99.40% vs. 99.39%), 이는 강건성 평가에서 공정한 비교를 가능하게 하였다.
• Carlini-Wagner 공격에서 대부분의 데이터셋에서 CapsNets에 대해 ConvNets보다 더 작은 편향을 생성하였으며, 이는 CapsNets에서 공격 효율성이 더 높을 수 있음을 시사한다.
• DeepFool 공격는 CapsNets에서 ConvNets보다 성능이 열 劣하였으며, 이는 국소 감도 또는 기울기 구조의 차이가 있을 수 있음을 시사한다.
• 적대적 예제는 CapsNets와 ConvNets 간 효과적으로 전이되었으며, ConvNets에서 유도된 더 작은 편향이 CapsNets로의 전이 성공률가 더 높았다.
• 일반화된 편향은 시각적으로 식별 가능했으며, t-SNE 시각화에서 별도의 군집 패턴을 보였으며, CapsNet 전용 편향은 ConvNet 편향과 별개의 군집을 형성하였다.
• 이론적 우월성에도 불구하고, 강력한 화이트박스 공격 조건 하에서 CapsNets는 ConvNets만큼 더 강건하지 않으며, 취약성 프로파일이 대부분 유사하였다.