[논문 리뷰] Machine Learning Security in Industry: A Quantitative Survey

Kathrin Grosse, Lukas Bieringer외 3명|arXiv (Cornell University)|2022. 07. 11.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

139명의 산업 기반 머신러닝 전문가를 대상으로 한 정량적 설문 조사에서, 이러한 위협에 대한 노출이 제한됨에도 불구하고 실제 공격 사례가 발생하고 있음을 확인했다. 특히 오염 공격과 회피 공격가 가장 두드러진 것으로 나타났다. 연구 결과, 위협 인식은 머신러닝 보안 분야의 사전 지식에 의해 강하게 영향을 받는 반면, 조직 차원의 대응 조치는 조직의 규모나 적용 분야보다는 위험 인식과 AI 성숙도와 연관되어 있음을 확인했다.

ABSTRACT

Despite the large body of academic work on machine learning security, little is known about the occurrence of attacks on machine learning systems in the wild. In this paper, we report on a quantitative study with 139 industrial practitioners. We analyze attack occurrence and concern and evaluate statistical hypotheses on factors influencing threat perception and exposure. Our results shed light on real-world attacks on deployed machine learning. On the organizational level, while we find no predictors for threat exposure in our sample, the amount of implement defenses depends on exposure to threats or expected likelihood to become a target. We also provide a detailed analysis of practitioners' replies on the relevance of individual machine learning attacks, unveiling complex concerns like unreliable decision making, business information leakage, and bias introduction into models. Finally, we find that on the individual level, prior knowledge about machine learning security influences threat perception. Our work paves the way for more research about adversarial machine learning in practice, but yields also insights for regulation and auditing.

연구 동기 및 목표

• 산업 환경에서 적대적 머신러닝(AML) 공격의 실제 발생 여부와 인식을 조사하기 위해.
• 특정 AML 공격에 대한 노출, 방어 조치, 우려 요인에 영향을 주는 조직적 및 개인적 요인을 규명하기 위해.
• 전문가들이 특정 AML 공격을 관련성 있거나 없음으로 간주하는 이유를 분석하기 위해, 윤리적, 재정적, 구현 특성과 같은 요소를 포함하여.
• 사전 지식과 성별이 AML 공격에 대한 위협 인식에 어떻게 영향을 주는지 분석하기 위해.
• 보안과 안전의 경계를 명확히 하여 규제, 감사 및 향후 연구에 기여하기 위해, 머신러닝 시스템에서 보안과 안전의 관계를 명료화하기 위해.

제안 방법

• 다양한 분야의 139명의 산업 기반 머신러닝 전문가를 대상으로 한 대규모 익명 정량 설문 조사를 실시하였다.
• 이전 산업 순위에서 도출된 6가지 핵심 AML 위협(회피 공격, 오염 공격, 모델 도용, 데이터 泄露, 멤버십 추론, 모델 역추출)에 집중하였다.
• 위협 노출, 방어 조치, 공격의 관련성 인식, 사전 지식, 성별을 포함한 인구통계적 요인 데이터를 수집하였다.
• 조직 규모, 머신러닝 도입 기간, 데이터 유형, AI 성숙도 등의 변수 간 상관관계를 분석하기 위해 통계적 가설 검정을 적용하였다.
• 공격의 관련성 또는 무관성에 대한 개방형 응답을 분석하여 재정적 손실, 윤리적 우려, 구현 가능성 등의 주제를 도출하였다.
• 응용 분야, 데이터 민감도, 조직 구조와 같은 혼란 변수를 통제하여 위협 인식 및 방어 조치 이행의 주요 예측 변수를 분리 분석하였다.

실험 결과

연구 질문

• RQ1 산업 현장에서 적대적 머신러닝 공격의 실제 발생 빈도는 어떠한가? 그리고 어떤 공격 유형이 가장 흔하게 관찰되는가?
• RQ2 조직적 요인(예: 규모, 분야, 머신러닝 도입 기간 등)이 AML 위협 노출 또는 방어 조치 이행에 어떤 영향을 미치는가?
• RQ3 AML 분야의 사전 지식과 성별 등의 개인적 요인이 전문가의 위협 관련성 인식에 어떻게 영향을 미치는가?
• RQ4 전문가들이 특정 AML 공격을 관련성 있음 또는 없음으로 간주하는 주된 이유는 무엇이며, 응용 분야의 제약 조건은 이러한 인식에 어떤 영향을 미치는가?
• RQ5 산업용 머신러닝 시스템에서 보안과 안전에 대한 혼동이 어느 정도 발생하는가? 이는 위험 평가에 어떤 영향을 미치는가?

주요 결과

• 회피 공격과 오염 공격이 실제 현장에서 발생하고 있음을 확인했으며, 이는 2~3년 간의 실제 운영 기간을 거쳐 발생한 것으로, AML이 '미래지향적'이라는 인식을 뒤집는 결과였다.
• 조직적 요인(규모, 산업 분야, 생산 환경에서의 머신러닝 사용 기간 등) 간에 위협 노출의 통계적 유의한 예측 변수는 발견되지 않았다.
• 구현된 방어 조치의 수는 조직 규모나 분야와는 관계없이, 위협 노출 여부, 공격 발생 가능성의 기대치, AI 성숙도에 의해 유의미하게 예측되었다.
• 전문가들이 AML 공격에 대해 우려하는 정도는 사전 지식 수준에 따라 강하게 영향을 받았으며, 지식 수준이 높을수록 위협에 대한 우려가 증가하는 경향을 보였다.
• 5개의 AML 공격 중 2개가 여성 참가자들에 의해 유의미하게 덜 중요하다고 평가되었으며, 이는 성별에 따른 위협 인식의 차이가 존재할 수 있음을 시사하며, 이는 적용 분야와 연관될 수 있다.
• 보안과 안전의 혼동이 뚜렷하게 관찰되었으며, 전문가들은 버그로 인한 시스템 장애(안전성 문제)와 적대적 조작으로 인한 실패(보안 문제)를 자주 구분하지 못해 위험 평가에 혼란을 줬다.