[논문 리뷰] One-pixel Signature: Characterizing CNN Models for Backdoor Detection

Shanjiaoyang Huang, Wei‐Qi Peng외 2명|arXiv (Cornell University)|2020. 08. 18.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 10

한 줄 요약

이 논문은 모델 파ameters에 접근할 필요 없이 매우 효과적인 백도어 탐지가 가능한, 아키텍처에 관계없이 적용 가능한 새로운 표현 방식인 one-pixel signature를 제안한다. 클래스 예측 확률의 변화를 최대화하기 위해 픽셀 단위로 적대적 편향을 생성함으로써, 이전 방법들에 비해 탐지 정확도에서 30%의 절대적 향상을 달성하며, 다양한 아키텍처와 데이터셋에 걸쳐 강력한 일반화 성능을 보여준다.

ABSTRACT

We tackle the convolution neural networks (CNNs) backdoor detection problem by proposing a new representation called one-pixel signature. Our task is to detect/classify if a CNN model has been maliciously inserted with an unknown Trojan trigger or not. Here, each CNN model is associated with a signature that is created by generating, pixel-by-pixel, an adversarial value that is the result of the largest change to the class prediction. The one-pixel signature is agnostic to the design choice of CNN architectures, and how they were trained. It can be computed efficiently for a black-box CNN model without accessing the network parameters. Our proposed one-pixel signature demonstrates a substantial improvement (by around 30% in the absolute detection accuracy) over the existing competing methods for backdoored CNN detection/classification. One-pixel signature is a general representation that can be used to characterize CNN models beyond backdoor detection.

연구 동기 및 목표

• 모델 파ameters나 아키텍처 정보에 접근할 수 없을 때도 백도어를 탐지할 수 있는 중요한 보안 과제를 해결하기 위해.
• 청결한 모델과 백도어가 삽입된 모델의 내재된 특성을 드러내는 일반적인 표현 방식을 개발하기 위해.
• 특히 알려지지 않은 또는 복잡한 백도어 트리거가 존재할 경우, 기존의 Neural Cleanse나 ABS와 같은 방법들을 초월해 탐지 정확도를 향상시키기 위해.
• 최소한의 학습 데이터로도 효과적으로 작동하며, 다양한 CNN 아키텍처와 데이터셋에 걸쳐 높은 일반화 성능을 달성하기 위해.

제안 방법

• one-pixel signature는 단일 픽셀의 편향을 최적화하여 모델의 예측 클래스 확률의 변화를 최대화함으로써 계산된다.
• 각 입력 이미지에 대해, 모델의 출력 분포에 가장 큰 변화를 일으키는 픽셀 위치와 값이 찾히며, 이는 각 모델에 대한 서명을 생성한다.
• 서명은 CNN 아키텍처, 학습 절차, 하이퍼파라미터에 관계없이 적용 가능하므로 블랙박스 적용이 가능하다.
• 이 서명들을 입력으로 사용하여 백도어 모델와 청결 모델을 구분하는 지도 학습 기반의 백도어 탐지기 모델을 학습시킨다.
• one-pixel 서명의 각 채널을 별도의 학습 샘플로 간주함으로써 데이터 효율성을 크게 향상시킨다.
• 계산의 단순성과 강건성을 확보하기 위해 기본 이미지 $I_o$는 0(검은 이미지)로 설정되며, 실증적 검증을 통해 높은 탐지 성능을 보였다.

실험 결과

연구 질문

• RQ1 백도어 특성을 드러내는 파ameters가 필요 없고 아키텍처에 관계없는 표현 방식을 설계할 수 있는가?
• RQ2 one-pixel 서명은 다양한 CNN 아키텍처와 데이터셋에서 백도어 탐지에 얼마나 효과적인가?
• RQ3 이 방법은 알려지지 않은 아키텍처와 백도어 패턴으로까지 얼마나 잘 일반화되는가?
• RQ4 저자료 환경과 모든 입력에서 동일한 타겟으로 향하는, 또는 모든 입력에서 특정 타겟으로 향하는 복잡한 공격 패tern(예: all-to-one, all-to-all 백도어) 하에서 이 방법의 성능은 어떠한가?

주요 결과

• one-pixel 서명은 Neural Cleanse나 ABS와 같은 기존 방법들에 비해 백도어 탐지 정확도에서 30%의 절대적 향상을 달성한다.
• MNIST에서 이 탐지기는 아키텍처 간 일반화 성능이 뛰어나며, 알려지지 않은 아키텍처의 모델을 테스트할 경우에도 평균 80%의 탐지율을 기록한다.
• 청결 모델 25개와 백도어 모델 25개의 쌍만으로도 MNIST에서 약 95%의 탐지 정확도를 달성했으며, GTSRB에서는 175개의 쌍으로 87.31%의 정확도를 기록했다.
• one-pixel 서명의 개별 채널을 학습 샘플로 활용함으로써 데이터 효율성이 크게 향상되었으며, GTSRB에서 단 100개의 학습 쌍으로도 97%의 탐지 정확도를 달성했다.
• all-to-one 및 all-to-all 백도어 공격에 대해서도 이 방법은 95% 이상의 탐지 성공률 유지하며, Neural Cleanse나 ABS는 약 50%에 불과해 떨어진다.
• 기본 이미지 $I_o$를 0(검은 이미지)로 설정할 경우 최고의 실증적 성능을 기록하며, 학습 데이터에 접근할 필요 없이도 된다.