[논문 리뷰] Sitatapatra: Blocking the Transfer of Adversarial Samples

Ilia Shumailov, Xitong Gao외 4명|arXiv (Cornell University)|2019. 01. 23.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 10

한 줄 요약

Sitatapatra는 CNN에서 적대적 예측의 전이를 차단하기 위해 모델 아키텍처에 기밀 다항식 기반 키를 통합하는 새로운 방식의 방어 시스템이다. 이로 인해 한 모델을 대상으로 제작된 적대적 예측은 다른 키를 가진 모델에서는 실패하게 된다. 이는 최소한의 런타임 오버헤드(0.6–7%)로 적대적 예측을 탐지하고 원인을 규명할 수 있으며, 제한된 자원을 가진 장치에도 구현이 가능하다.

ABSTRACT

Convolutional Neural Networks (CNNs) are widely used to solve classification tasks in computer vision. However, they can be tricked into misclassifying specially crafted `adversarial' samples -- and samples built to trick one model often work alarmingly well against other models trained on the same task. In this paper we introduce Sitatapatra, a system designed to block the transfer of adversarial samples. It diversifies neural networks using a key, as in cryptography, and provides a mechanism for detecting attacks. What's more, when adversarial samples are detected they can typically be traced back to the individual device that was used to develop them. The run-time overheads are minimal permitting the use of Sitatapatra on constrained systems.

연구 동기 및 목표

• 동일한 아키텍처를 가진 다른 모델까지도 성공적으로 속이는 적대적 전이성의 심각한 문제를 해결한다.
• 에지 장치 및 대량 시장용 애플리케이션과 같은 자원이 제한된 환경에 적합한 확장성 있고 경량의 방어 메커니즘을 개발한다.
• 암호학적 접근 방식을 모방한 키 기반 메커니즘을 도입하여 CNN의 다양성을 높이고, 적대적 예측의 전이를 방지한다.
• 특정 장치나 모델이 생성한 적대적 예측을 연결하여 탐지하고 원인을 규명할 수 있도록 한다.
• 강력한 공격에 대비하여 높은 강건성을 유지하면서도 추론 시 성능 저하를 최소화한다.

제안 방법

• CNN의 컨볼루션 레이어 내부에 기밀 다항식 함수를 키로 통합하여 활성화 함수를 수정, 키에 따라 달라지는 비선형성을 도입한다.
• 동적 채널 조작과 기울기 분산 감지기를 사용하여 활성화 범위를 키에 따라 제한하고, 이격된 범위에서 경고를 발생시킨다.
• 기반 키에 따라 활성화 값이 특정 임계값을 초과하는지 감시하여 적대적 입력을 식별하는 키 기반 탐지 메커니즘을 통합한다.
• 레이어 전반에 걸쳐 정적 및 동적 키 인스트루멘테이션을 조합하여 키의 다양성과 모델의 이질성을 높인다.
• 백프로파게이션 동안 키 기반 변환을 통합하는 학습 기반 기법을 사용하여 모델 정확도를 유지하면서도 강건성을 향상시킨다.
• 키 구조를 활용해 배신자 추적 기능을 실현 — 적대적 예측의 활성화 패턴을 분류하여 그 원천 장치를 특정할 수 있다.

실험 결과

연구 질문

• RQ1 동일한 아키텍처를 가진 서로 다른 CNN 모델 간에 적대적 예측의 전이를 효과적으로 차단할 수 있는 키 기반 메커니즘을 설계할 수 있는가?
• RQ2 의도적인 계산 오버헤드 없이 임베디드 키를 활용해 적대적 예측 탐지 및 원인 규명을 어떻게 달성할 수 있는가?
• RQ3 제한된 배포 환경에서 키의 다양성, 모델 정확도, 런타임 효율성 간의 상호 상충 관계는 어떠한가?
• RQ4 Sitatapatra는 FGSM, PGD, Carlini & Wagner와 같은 최신 적대적 공격에 얼마나 효과적으로 대응할 수 있는가?
• RQ5 동일한 모델을 대규모로 배포할 때 키 임베딩 기법의 확장성은 어느 정도인가?

주요 결과

• Sitatapatra는 특정 키로 생성된 적대적 예측이 다른 키를 가진 모델에서는 활성화 범위 위반과 감지기 경고로 인해 전이되지 않도록 하여 적대적 전이성을 감소시킨다.
• 적절한 다각도의 다항식을 사용할 경우 FGSM 공격에 대해 90%의 적대적 예측 원인 규명 정확도를 달성하고, 복합 공격에 대해서는 81–85%의 정확도를 기록하여 효과적인 배신자 추적 기능을 입증한다.
• 런타임 계산 오버헤드는 매우 낮아 0.6%에서 7% 사이로 유지되어 자원이 제한된 장치에의 배포에 적합하다.
• 표준 벤치마크(CIFAR-10, SVHN, Tiny ImageNet)에서 높은 모델 정확도를 유지하며, 키 통합 후 최상위 1위 정확도에 미미한 하락만 발생한다.
• 키의 다양성은 핵심 요소이다: 유사한 다항식을 가진 모델는 낮은 탐지 성능(~50% 정밀도)을 보이며, 반대로 다를수록 훨씬 높은 탐지 정확도를 기록한다.
• 제조사가 은행용 장치와 대량 시장용 장치 등 서로 다른 장치 플릿에 고유한 키를 할당할 수 있도록 하여 대규모 공격를 방지할 수 있는 확장 가능한 모델 강화 기능을 제공한다.