[논문 리뷰] Adversarial Machine Learning -- Industry Perspectives

Ram Shankar Siva Kumar, Magnus Nyström외 6명|arXiv (Cornell University)|2020. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 50

한 줄 요약

이 논문은 28개 조직의 산업 설문을 통해 ML 시스템을 적대적 공격으로부터 보호하는 데 광범위한 격차가 있음을 보여주고, 산업용 ML 보안을 위한 SDL 정렬 연구 방향을 제시합니다.

ABSTRACT

Based on interviews with 28 organizations, we found that industry practitioners are not equipped with tactical and strategic tools to protect, detect and respond to attacks on their Machine Learning (ML) systems. We leverage the insights from the interviews and we enumerate the gaps in perspective in securing machine learning systems when viewed in the context of traditional software security development. We write this paper from the perspective of two personas: developers/ML engineers and security incident responders who are tasked with securing ML systems as they are designed, developed and deployed ML systems. The goal of this paper is to engage researchers to revise and amend the Security Development Lifecycle for industrial-grade software in the adversarial ML era.

연구 동기 및 목표

• 산업 전반에서 조직이 적대적 공격으로부터 ML 시스템을 securing하는 방식을 평가한다.
• 생산 현장에서 ML 보안을 위한 도구, 프로세스, 인력의 격차를 식별한다.
• 전통적인 소프트웨어 SDL과 적대적 ML 특화 보안 요구 사이를 잇는다.
• 산업용 ML을 위한 Security Development Lifecycle을 보완하기 위한 연구 의제를 제안한다.
• ML 개발자와 보안 사건 대응자에게 실행 가능한 인사이트를 제공한다.

제안 방법

• 28개 조직에 걸친 두 가지 페르소나(개발자/ML 엔지니어와 보안 사건 대응자)에 대한 인터뷰를 수행한다.
• 발견 내용을 SDL 단계(설계/개발, 배포, 공격 중)에 매핑한다.
• ML에 특화된 구조화된 SDL 프레임워크를 사용하여 보안 격차를 목록화한다.
• 향후 연구 방향과 산업 관행에 맞춘 실용적 도구 정렬을 제안한다.

실험 결과

연구 질문

• RQ1 산업계에서 적대적 공격에 대한 ML 시스템 보안의 현 상태는 무엇인가?
• RQ2 조직 간 ML 보안 도구, 관행, 지식의 주요 격차는 무엇인가?
• RQ3 산업 규모 소프트웨어에서 적대적 ML를 다루기 위해 Security Development Lifecycle을 어떻게 보완할 수 있는가?
• RQ4 ML 시스템의 설계, 배포, 모니터링 및 사건 대응을 향상시키기 위한 연구 방향은 무엇인가?

주요 결과

• 28개 조직 중 25개가 ML 시스템 보안을 위한 적합한 도구를 보유하지 못했고 지침을 모색하고 있다.
• 적대적 ML에 전담 인력을 가진 조직은 6곳에 불과하며, 이들은 모두 대기업 또는 정부 조직이다.
• 대다수의 보안 엔지니어는 현재의 관행으로 ML 공격을 탐지하거나 대응할 수 없다.
• 응답자들은 조직의 주요 공격 우려로 오염( poisoning )을 꼽았다(10표).
• 모델 절도(Model Stealing)(6표)과 모델 반전(Model Inversion)(4표)도 주목할 만한 우려로 나타났다.
• 플랫폼에서의 ML 보안 기대치와 보안 분석가 및 개발자 간의 현실에 불일치가 존재한다.