[논문 리뷰] Summoning Demons: The Pursuit of Exploitable Bugs in Machine Learning

Rock Stevens, Octavian Suciu외 4명|arXiv (Cornell University)|2017. 01. 17.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 11

한 줄 요약

이 논문은 기계학습 시스템의 공격 표면을 점검함으로써 이용 가능한 구현 버그를 발견하는 반자동 기법인 스티어드 패치(fuzzing)를 소개한다. 이 방법은 기존의 입력 변형 기법보다 더 강력한 대비 공격을 가능하게 하는 취약점을 드러내며, 다섯 건의 공개된 취약점과 세 개의 새로운 CVE-ID를 도출하였다.

ABSTRACT

Governments and businesses increasingly rely on data analytics and machine learning (ML) for improving their competitive edge in areas such as consumer satisfaction, threat intelligence, decision making, and product efficiency. However, by cleverly corrupting a subset of data used as input to a target's ML algorithms, an adversary can perturb outcomes and compromise the effectiveness of ML technology. While prior work in the field of adversarial machine learning has studied the impact of input manipulation on correct ML algorithms, we consider the exploitation of bugs in ML implementations. In this paper, we characterize the attack surface of ML programs, and we show that malicious inputs exploiting implementation bugs enable strictly more powerful attacks than the classic adversarial machine learning techniques. We propose a semi-automated technique, called steered fuzzing, for exploring this attack surface and for discovering exploitable bugs in machine learning programs, in order to demonstrate the magnitude of this threat. As a result of our work, we responsibly disclosed five vulnerabilities, established three new CVE-IDs, and illuminated a common insecure practice across many machine learning systems. Finally, we outline several research directions for further understanding and mitigating this threat.

연구 동기 및 목표

• 알고리즘적 결함이 아닌 구현 수준의 버그에서 비롯된 기계학습 프로그램의 공격 표면을 규명하는 것.
• 기계학습 구현의 버그가 기존의 입력 변형 기법보다 더 강력한 대비 공격을 가능하게 할 수 있음을 보여주는 것.
• 기계학습 시스템에서의 이용 가능한 버그를 체계적으로 탐색하고 발견하기 위한 반자동 기법인 스티어드 패치를 개발하고 평가하는 것.
• 취약점을 책임감 있게 공개하고 기계학습 시스템 전반에 퍼져 있는 일반적인 보안 취약한 개발 관행을 식별하는 것.

제안 방법

• 기계학습 라이브러리 및 프레임워크의 구현 수준 버그가 어떻게 악용될 수 있는지 분석함으로써 기계학습 프로그램의 공격 표면을 정의하는 것.
• 기호 실행과 피드백 기반 변형을 조합하여 패처 입력을 이용 가능한 행동으로 이끌어내는 기법으로 스티어드 패치를 설계하는 것.
• 충돌, 잘못된 출력, 예상치 못한 제어 흐름과 같은 이질적인 행동을 모니터링하기 위해 기계학습 프로그램을 인스트루먼트하는 것.
• 런타임 피드백을 활용하여 기계학습 추론 및 학습 파이프라인에서의 취약점을 드러내는 입력으로 패처를 이끄는 것.
• 텐서 연산, 기울기 계산 등의 기계학습 연산에 특화된 도메인 지식을 패처에 통합하여 악용 가능성 증가시키는 것.
• 실제 기계학습 시스템에 적용하여 이전에 알려지지 않은 취약점을 식별함으로써 기법의 타당성을 검증하는 것.

실험 결과

연구 질문

• RQ1 기계학습 시스템에서의 구현 버그가 초래하는 공격 표면의 범위와 성격은 무엇인가?
• RQ2 기계학습 구현의 버그가 기존의 입력 변형 기법과 비교해 더 강력한 대비 공격을 가능하게 하는 방식은 무엇인가?
• RQ3 스티어드 패치와 같은 반자동 기법이 대규모 기계학습 프로그램에서 이용 가능한 버그를 효과적으로 발견할 수 있는가?
• RQ4 기계학습 시스템 전반에서 퍼져 있는 취약한 프로그래밍 관행 중 공통적으로 발견되는 것은 무엇인가?

주요 결과

• 스티어드 패치는 실제 기계학습 시스템에서 이전에 알려지지 않은 다섯 건의 취약점을 성공적으로 발견하였다.
• 발견된 취약점은 세 개의 새로운 CVE-ID를 할당받아 그 심각성과 재현 가능성의 확인을 받았다.
• 구현 버그에서 비롯된 공격 표면은 고전적인 대비 예제보다 더 강력한 대비 조작을 가능하게 한다.
• 여러 시스템에서 공통적으로 발견된 보안 취약한 관행으로, 기계학습 라이브러리에서의 부적절한 입력 검증이 악용 가능성 증가에 기여하였다.
• 기존의 대비 강성 테스트로는 탐지되지 않는 제로데이 취약점을 탐지하는 데에 이 기법이 효과를 보였다.
• 결과는 현재 기계학습 보안 관행의 심각한 격차를 드러내며, 구현 수준의 강화가 필요하다는 점을 강조한다.