[논문 리뷰] VerIDeep: Verifying Integrity of Deep Neural Networks through Sensitive-Sample Fingerprinting

Zecheng He, Tianwei Zhang외 1명|arXiv (Cornell University)|2018. 08. 09.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 13

한 줄 요약

VerIDeep는 클라우드 환경에서 딥 뉴럴 네트워크(DNN) 무결성을 검증하기 위해 민감 샘플 지문을 사용하는 저비용의 블랙박스 방법을 제안한다. 이는 모델 가중치 변화에 매우 민감한 출력을 유도하는 최소한의 변형 입력으로, 모델 가중치에 대한 접근 없이도 10번 이내의 모델 쿼리로 다양한 무결성 공격을 99% 이상의 정확도로 탐지할 수 있다. 이로써 고객은 모델 가중치에 접근하지 않고도 모델의 무결성을 검증할 수 있다.

ABSTRACT

Deep learning has become popular, and numerous cloud-based services are provided to help customers develop and deploy deep learning applications. Meanwhile, various attack techniques have also been discovered to stealthily compromise the model's integrity. When a cloud customer deploys a deep learning model in the cloud and serves it to end-users, it is important for him to be able to verify that the deployed model has not been tampered with, and the model's integrity is protected. We propose a new low-cost and self-served methodology for customers to verify that the model deployed in the cloud is intact, while having only black-box access (e.g., via APIs) to the deployed model. Customers can detect arbitrary changes to their deep learning models. Specifically, we define exttt{Sensitive-Sample} fingerprints, which are a small set of transformed inputs that make the model outputs sensitive to the model's parameters. Even small weight changes can be clearly reflected in the model outputs, and observed by the customer. Our experiments on different types of model integrity attacks show that we can detect model integrity breaches with high accuracy ($>$99\%) and low overhead ($

연구 동기 및 목표

• 신뢰할 수 없는 클라우드 환경에 배포된 딥 뉴럴 네트워크(DNN)의 무결성 검증이라는 핵심 보안 과제를 해결하기 위해.
• 클라우드 고객이 모델 가중치에 대한 접근 없이도 블랙박스 API 접근만으로도 백도어 삽입 또는 가중치 수정과 같은 임의의 모델 무결성 침해를 탐지할 수 있도록 하기 위해.
• 모델 가중치나 신뢰할 수 있는 하드웨어에 의존하지 않는 자가 서비스형 저비용 검증 메커니즘을 개발하기 위해.
• 모델 쿼리 수를 최소화하면서도 높은 탐지 정확도를 확보하고, 임의의 가짜 경고를 방지하기 위해.

제안 방법

• 민감 샘플(Sensitive-Samples)을 도입하여, 모델 가중치 변화에 대한 출력 민감도를 극대화하는 소량의 입력 변형을 제공한다.
• 민감 샘플의 생성을 최적화 문제로 수식화하여, 미세한 가중치 변화조차도 탐지 가능한 출력 이동을 유도한다.
• 민감 샘플이 원본 입력과 시각적으로 유사하도록 제약 조건을 도입함으로써, 공격자가 탐지되는 것을 방지할 위험을 줄인다.
• 기울기 기반 최적화를 활용하여, 가중치 변화에 따른 출력 분산을 최대화하는 입력 변형을 식별한다.
• 검증 과정은 이러한 민감 샘플을 배포된 모델에 쿼리하고, 알려진 기준값과 출력을 비교하는 방식으로 수행된다.
• 이 방법은 모델 아키텍처에 관계없이 다양한 DNN 작업 및 공격 유형에 적용 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 블랙박스 방법이 백도어나 가중치 수정과 같은 미세하고 타겟된 모델 무결성 공격을 높은 정확도와 낮은 부하로 탐지할 수 있는가?
• RQ2 민감 샘플은 어떻게 생성되어야 하며, 기존 입력과 구별되지 않으면서도 가중치 변화에 대해 최대 민감도를 확보할 수 있는가?
• RQ3 제안된 방법은 모델 가중치나 학습 데이터에 접근하지 않고도 트로이 악성코드 공격과 모델 압축 공격을 모두 탐지할 수 있는가?
• RQ4 다양한 공격 유형에 걸쳐 모델 무결성을 신뢰성 있게 검증하기 위해 필요한 최소 모델 쿼리 수는 얼마인가?
• RQ5 모델 가중치를 수정하지 않는 회피 공격 및 오염 공격에 대해서는 이 방법이 어떻게 성능을 발휘하는가?

주요 결과

• VerIDeep는 백도어 및 모델 압축 공격을 포함한 다양한 DNN 무결성 공격에 대해 99%를 초월하는 탐지율을 달성한다.
• 무결성 검증을 위해 10회 이내의 블랙박스 모델 쿼리만 필요하여 매우 효율적이다.
• 이 방법은 가짜 경고가 전혀 없이 0%의 가짜 양성 결과를 보장하여, 정상적인 모델가 잘못된 것으로 잘못 분류되지 않음을 보장한다.
• 민감 샘플은 시각적 유사성 제약 조건에 강건하여, 공격자가 이를 회피하여 탐지되지 않도록 방지할 수 있다.
• 이 방법은 이미지 분류 및 전이 학습 시나리오를 포함한 다양한 DNN 아키텍처와 작업에 효과적으로 적용된다.
• 공격자가 모델 가중치의 소수의 일부만 수정하더라도 모델 무결성 침해를 성공적으로 탐지할 수 있다.