[논문 리뷰] Attacking and Defending Machine Learning Applications of Public Cloud

Dou Goodman, Xin Hao|arXiv (Cornell University)|2020. 07. 27.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 Google Cloud Vision API와 같은 MLaaS 플랫폼을 적대적 공격과 공간적 공격으로부터 방어하기 위해 기계학습을 위한 보안 개발 생명주기(SDL for ML)를 제안한다. FFL-PGD 공격을 도입하여 단 1~2회의 쿼리로도 높은 성공률를 달성하였고, 일반적인 손상 상황에서도 모델의 취약성이 여전히 높다는 점을 입증하며, 클라우드 ML 파이프라인에서의 강건성 테스트와 적대적 탐지 필요성을 강조한다.

ABSTRACT

Adversarial attack breaks the boundaries of traditional security defense. For adversarial attack and the characteristics of cloud services, we propose Security Development Lifecycle for Machine Learning applications, e.g., SDL for ML. The SDL for ML helps developers build more secure software by reducing the number and severity of vulnerabilities in ML-as-a-service, while reducing development cost.

연구 동기 및 목표

• Google Cloud Vision API와 같은 공공 클라우드 ML 서비스에 대한 점점 증가하는 적대적 공격과 공간적 공격의 위협을 해결하기 위해.
• 모델 투명도가 없고 블랙박스 액세스만 가능한 상황에서도 MLaaS 플랫폼의 핵심 취약점을 규명하기 위해.
• 위협 모델링, 강건성 테스트, 적대적 탐지 기능을 통합한 종합적이고 실용적인 보안 생명주기(SDL for ML)를 개발하기 위해.
• 제한된 쿼리 액세스 조건에서도 전이 가능한 적대적 예제를 사용해 방어를 우회할 수 있음을 입증하기 위해.
• 생산 환경에서 모델 보안을 향상시키기 위해 강건성 평가 및 적대적 탐지에 활용 가능한 오픈소스 도구를 제공하기 위해.

제안 방법

• FFL-PGD 공격 제안: 최소한의 쿼리로 훈련된 샤로우 모델을 활용해 대상 모델의 결정 경계를 근사하고, 높은 전이성으로 적대적 예제를 생성한다.
• 원본 이미지와 적대적 이미지 간의 저수준 특징 차이를 최소화하는 새로운 손실 함수를 도입하여, 정확도 향상과 함께 인간이 인지하지 못하는 공격을 가능하게 한다.
• 13종의 손상 유형(예: 노이즈, 블러, 회전, 기상 영향 등)을 사용한 블랙박스 강건성 테스트를 수행하며, PSNR 및 SSIM 제약 조건 하에서 정확도를 평가한다.
• 입력 분포의 통계적 차이를 기반으로 깊이 신경망 기반 이진 분류기를 탐지기로 활용하여 정상 입력과 적대적 입력을 구분한다.
• 적대적 훈련과 탐지를 포함한 전체 SDL for ML 프레임워크를 구축하여 로컬 모델과 클라우드 API 모두 지원한다.
• 다양한 변형 유형과 임계값에 대해 강건성 평가를 자동화할 수 있는 오픈소스 도구(예: perceptron-benchmark)를 제공한다.

실험 결과

연구 질문

• RQ1 블랙박스 API 액세스와 최소한의 쿼리만으로도 클라우드 기반 ML 서비스에 대해 효과적인 적대적 공격를 수행할 수 있는가?
• RQ2 노이즈, 블러, 기상 영향과 같은 일반적인 이미지 손상에 대해 공공 클라우드 ML 모델은 얼마나 취약하며, 정확도에 어떤 영향을 미치는가?
• RQ3 전이 학습을 통해 생성된 적대적 예제가 아키텍처와 파rameter 노출이 있는 실세계 클라우드 ML 서비스를 얼마나 잘 우회할 수 있는가?
• RQ4 통계적 특징만으로도 딥러닝 기반 탐지기가 정상 입력과 적대적 입력을 신뢰성 있게 구분할 수 있는가?
• RQ5 강건성 테스트, 적대적 완화, 탐지 기능을 ML 애플리케이션 개발에 통합할 수 있는 표준화되고 확장 가능한 보안 개발 생명주기(SDL for ML)를 어떻게 설계할 수 있는가?

주요 결과

• FFL-PGD 공격는 단 1~2회의 쿼리로 95.5%의 성공률를 기록하여, 최소한의 액세스로도 클라우드 기반 ML 방어를 우회할 수 있음을 입증한다.
• 일반적인 손상 조건 하에서 InceptionV3의 상위-1 정확도는 가우시안 블러 조건에서 20%로 하락하고, 회전 조건에서는 30%로 감소하여 공간적 및 노이즈 기반 변형에 매우 취약함을 보여준다.
• 블러와 노이즈 공격는 높은 성공률(예: 가우시안 블러 시 80%)을 기록하며, PSNR 값이 20 이상을 유지하여 인간이 인지하지 못하는 수준의 정밀도를 확보한다.
• 135° 및 -135° 회전 조건에서 모델은 높은 취약성을 보이며, 공격 성공률가 약 70%에 이르러 방향성에 따른 취약점을 드러낸다.
• 딥러닝 기반 탐지기는 정상 입력과 적대적 입력 간의 미세한 통계적 편차를 기반으로 적대적 입력을 신뢰성 있게 식별할 수 있는 잠재력을 보였다.
• 강건성 테스트 결과, 기존의 이미지 변형보다 공간적 및 노이즈 기반 손상에 대해 모델이 훨씬 취약함을 확인하였으며, 현재 ML 보안 분야의 심각한 격차를 드러냈다.