[논문 리뷰] Modular Learning Component Attacks: Today's Reality, Tomorrow's Challenge

Xinyang Zhang, Yujie Ji외 1명|arXiv (Cornell University)|2017. 08. 25.

Advanced Malware Detection Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 모듈러 학습 컴포넌트(MLC) 공격—특히 로직봄 공격—를 소개한다. 악성으로 수정된 MLC는 특정 조건에서 예측 가능한 방식으로 기계학습 시스템을 실패하게 한다. 현대 모델의 고차원성과 비볼록성의 특성을 악용하여, 파ameter의 0.33% 미만을 수정하고, 변형 폭이 10⁻³ 이하인 경우, 공격자는 의료 기계학습 시스템에서 100%의 오진진단 성공률를 달 đạt한다.

ABSTRACT

Many of today's machine learning (ML) systems are not built from scratch, but are compositions of an array of {\em modular learning components} (MLCs). The increasing use of MLCs significantly simplifies the ML system development cycles. However, as most MLCs are contributed and maintained by third parties, their lack of standardization and regulation entails profound security implications. In this paper, for the first time, we demonstrate that potentially harmful MLCs pose immense threats to the security of ML systems. We present a broad class of {\em logic-bomb} attacks in which maliciously crafted MLCs trigger host systems to malfunction in a predictable manner. By empirically studying two state-of-the-art ML systems in the healthcare domain, we explore the feasibility of such attacks. For example, we show that, without prior knowledge about the host ML system, by modifying only 3.3{ extperthousand} of the MLC's parameters, each with distortion below $10^{-3}$, the adversary is able to force the misdiagnosis of target victims' skin cancers with 100\% success rate. We provide analytical justification for the success of such attacks, which points to the fundamental characteristics of today's ML models: high dimensionality, non-linearity, and non-convexity. The issue thus seems fundamental to many ML systems. We further discuss potential countermeasures to mitigate MLC-based attacks and their potential technical challenges.

연구 동기 및 목표

• 기계학습 시스템에서 제3자 모듈러 학습 컴포넌트(MLC)가 초래하는 보안 위험을 조사하는 것.
• 악성으로 제작된 MLC가 로직봄 공격를 통해 예측 가능한 시스템 장애를 유도할 수 있음을 입증하는 것.
• 실제 의료 기계학습 시스템에서 이러한 공격의 실현 가능성과 은폐성 분석하는 것.
• 기본적인 기계학습 모델 성질에 기반해 MLC 기반 공격의 성공 원리를 분석적으로 설명하는 것.
• 잠재적 대응 조치와 그 기술적 과제를 탐색하는 것.

제안 방법

• 저자들은 사전 학습된 MLC(예: 단어 임bedding, 딥 네트워크 등)의 파ameter를 미세하게 수정하여 로직봄 공격를 구현한다.
• 특정 입력에 의해 유도될 경우, 호스트 기계학습 시스템이 100%의 정확도로 잘못 분류하도록 악성 행동을 MLC에 삽입한다.
• 수정은 최소한으로 이루어지며, 파ameter의 3.3‰ 미만이 수정되었고, 개별 변경 폭은 10⁻³ 이하였다.
• 공격는 회피 가능하도록 설계되었으며, 정상 및 악성 MLC 간의 성능 차이는 비표적 입력에서 2.5% 미만이었다.
• 공격는 호스트 시스템의 데이터에 대한 제한된 액세스(예: 훈련 데이터의 <22%)만 필요로 하며, 시스템 아키텍처의 사전 지식이 필요로 하지 않는다.
• 이론적 분석은 공격 성공의 근본 원인을 현대 기계학습 모델의 고차원성, 비선형성, 비볼록성에 기인한다고 밝힌다.

실험 결과

연구 질문

• RQ1 악성으로 수정된 모듈러 학습 컴포넌트(MLC)는 기계학습 시스템에서 예측 가능한 실패를 유도할 수 있는가?
• RQ2 이러한 공격는 파ameter 수정 비율과 비표적 입력에서의 성능 영향 측면에서 얼마나 은폐될 수 있는가?
• RQ3 악성 공격를 성공적으로 제작하기 위해 공격자가 훈련 데이터에 얼마나 많은 액세스가 필요한가?
• RQ4 MLC 파ameter에 최소한의 변경만으로도 이러한 공격가 성공하는 이유는 무엇인가?
• RQ5 잠재적 대응 조치는 무엇이며, 그 기술적 과제는 무엇인가?

주요 결과

• 저자들은 신경망 MLC에서 파ameter의 3.3‰ 미만만 수정하여 피부암 스크리닝 시스템에서 100% 오진진단을 유도하는 데 성공했다.
• 동일한 공격는 질병 조기 예후 시스템에서도 100% 성공률를 달성하여, 의료 기계학습 시스템 전반에 걸쳐 광범위한 적용 가능성을 입증했다.
• 악성 MLC는 정상 MLC와 파ameter의 3.3‰ 미만에서만 차이가 나며, 각각의 변경 폭은 10⁻³ 이하로 매우 은폐성이 높다.
• 비표적 입력에서 MLC의 성능 차이는 2.5% 미만으로 나타나, 높은 일반화 능력과 은폐성 확보를 확인했다.
• 공격자는 호스트 시스템의 훈련 데이터의 22% 미만만 액세스하면 되며, 이는 종종 공개된 자료이다.
• 이론적 분석은 현대 기계학습 모델의 고차원성, 비선형성, 비볼록성이 이러한 공격의 실현 가능성을 뒷받침함을 확인했다.