[논문 리뷰] Non-Negative Networks Against Adversarial Attacks

William Fleshman, Edward Raff외 3명|arXiv (Cornell University)|2018. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 16

한 줄 요약

이 논문은 악성 소프트웨어 및 스팸 탐지와 같은 이진 분류 작업에서 특히 표적 공격에 대한 강건성을 향상시키기 위해 신경망에 비음수 가중치 제약 조건을 제안한다. 모델 가중치를 비음수 값으로 제한함으로써 악성 특징을 제거하는 것만 가능하게 하여 공격자가 악성 특징을 추가하는 것을 방지함으로써, 악성 소프트웨어 탐지에서는 유혹률을 거의 0%로, 스팸 탐지에서는 정확히 0%로 낮춘다. 이는 이미지 분류 작업에서 높은 정확도를 유지하면서 달성된다.

ABSTRACT

Adversarial attacks against neural networks are a problem of considerable importance, for which effective defenses are not yet readily available. We make progress toward this problem by showing that non-negative weight constraints can be used to improve resistance in specific scenarios. In particular, we show that they can provide an effective defense for binary classification problems with asymmetric cost, such as malware or spam detection. We also show the potential for non-negativity to be helpful to non-binary problems by applying it to image classification.

연구 동기 및 목표

• 악성 소프트웨어 및 스팸 탐지와 같은 보안 중심의 이진 분류 작업에서 공격자가 특징을 추가할 수 있는 '추가 공격자'(additive adversaries)에 대응하기 위해 표적 공격을 해결하는 것.
• 특정 특징에 의존하는 모델의 정도를 제한함으로써 비음수 가중치 제약 조건이 이러한 상황에서 효과적인 방어 수단이 될 수 있는지 탐색하는 것.
• 이를 다중 분류 문제인 이미지 분류로 일반화하여, 강건성과 정확도 간의 트레이드오프를 평가하는 것.
• FGSM, IGA, PGD와 같은 강력한 표적 공격에 대해 다양한 데이터셋을 기반으로 비음수 네트워크의 효과성을 평가하는 것.

제안 방법

• 학습 중에 비음수 가중치 제약 조건을 적용하여 모든 학습된 가중치가 비음수임을 보장함으로써, 모델이 양성 클래스와 관련된 특징만 탐지하도록 제한하는 것.
• 강건성을 평가하기 위해 표적 공격(예: FGSM, IGA)을 사용하고, 목표 신뢰도 수준에 따라 유혹률을 측정하는 것.
• MNIST, CIFAR10, CIFAR100, Tiny ImageNet에서 모델을 훈련시켜 클래스 복잡도가 다른 데이터셋 간의 일반화 능력을 테스트하는 것.
• 비음수 모델에 대한 악성 예측을 생성하기 위해 제약이 없는 대체 모델을 사용하여 공격의 이식성(transferability)을 평가하는 것.
• 비음수 모델에서 잠재적 악성 입력을 탐지하기 위한 신뢰도 임계값(예: 40% 이하)을 사용하는 것.
• 다양한 공격 유형과 데이터셋에서 비음수 제약 조건이 있는지 없는지에 따라 기준 모델과의 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 비음수 가중치 제약 조건은 악성 소프트웨어 및 스팸 탐지와 같은 이진 분류 작업에서 표적 공격에 대해 유혹률을 크게 감소시킬 수 있는가?
• RQ2 비음수 제약 조건 기법은 다중 분류 이미지 분류 작업으로 일반화될 수 있으며, 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 비음수 제약 조건 메커니즘은 단지 기울기 교란(gradient obfuscation)에 불과한가, 아니면 진정으로 악성 예측에 대한 강건성을 제공하는가?
• RQ4 비음수 모델에서의 신뢰도 임계값은 악성 입력을 실용적으로 탐지하는 데 사용될 수 있는가?
• RQ5 다양한 데이터셋과 공격 강도에서 비음수 제약 조건을 적용할 경우 강건성과 정확도 사이의 트레이드오프는 어떠한가?

주요 결과

• 비음수 네트워크는 스팸 탐지에서 정확히 0%의 유혹률을 기록했고, 악성 소프트웨어 탐지에서는 거의 0%의 유혹률을 기록하여 강력한 방어 효과를 입증했다.
• MNIST와 CIFAR10에서는 목표 신뢰도가 30% 이상일 경우 표적 공격이 실패했으며, 이는 고신뢰도 예측이 유혹에 대해 강건함을 시사한다.
• CIFAR100과 Tiny ImageNet에서는 목표 신뢰도가 충분히 높을 경우 표적 공격 실패율이 ≤2%로 유지되어 더 큰 데이터셋으로의 확장성도 입증했다.
• 제약이 없는 대체 모델에서 비음수 모델로의 공격 이식성은 단지 1.042%의 성공률을 기록하여, 이 방어 수단이 단지 기울기 교란이 아니라는 것을 시사한다.
• 모든 다중 분류 데이터셋에서 비음수 제약 조건으로 인한 정확도 하락은 1% 미만이었으며, 이는 강건성 향상에 대한 낮은 비용을 의미한다.
• 표적 공격에 대해 강건성을 보였음에도 불구하고, 비음수 모델은 공격 하에서 균일한 확률 분포로 인해 저신뢰도 오류에 더 취약한 것으로 나타났다.