[논문 리뷰] Failure Modes in Machine Learning Systems

Ram Shankar Siva Kumar, David O'Brien외 3명|arXiv (Cornell University)|2019. 11. 25.

Information and Cyber Security인용 수 40

한 줄 요약

이 논문은 ML 시스템 실패를 의도적(적대적)과 비의도적(본질적으로 안전하지 않은 결과)으로 분류하는 분류체계를 제안하고, 이를 실무자와 정책 입안자에게의 적용 가능성에 대해 논의한다.

ABSTRACT

In the last two years, more than 200 papers have been written on how machine learning (ML) systems can fail because of adversarial attacks on the algorithms and data; this number balloons if we were to incorporate papers covering non-adversarial failure modes. The spate of papers has made it difficult for ML practitioners, let alone engineers, lawyers, and policymakers, to keep up with the attacks against and defenses of ML systems. However, as these systems become more pervasive, the need to understand how they fail, whether by the hand of an adversary or due to the inherent design of a system, will only become more pressing. In order to equip software developers, security incident responders, lawyers, and policy makers with a common vernacular to talk about this problem, we developed a framework to classify failures into "Intentional failures" where the failure is caused by an active adversary attempting to subvert the system to attain her goals; and "Unintentional failures" where the failure is because an ML system produces an inherently unsafe outcome. After developing the initial version of the taxonomy last year, we worked with security and ML teams across Microsoft, 23 external partners, standards organization, and governments to understand how stakeholders would use our framework. Throughout the paper, we attempt to highlight how machine learning failure modes are meaningfully different from traditional software failures from a technology and policy perspective.

연구 동기 및 목표

• 개발자, 보안 대응자, 변호사, 정책입안자 간에 ML 실패를 논의하기 위한 공통 용어를 제공한다.
• 실패를 의도적과 비의도적 범주로 분리하는 분류체계를 도입한다.
• ML 실패 모드가 기술 및 정책 관점에서 전통적인 소프트웨어 실패와 어떻게 다른지 보여준다.

제안 방법

• ML 실패를 Intentional과 Unintentional 범주로 분류하는 프레임워크를 개발한다.
• Microsoft, 외부 파트너, 표준화 기구, 정부와 협력하여 이해관계자 유용성을 검증한다.
• 기술 및 정책 맥락에서 ML 실패 모드를 전통적 소프트웨어 실패와 비교한다.

실험 결과

연구 질문

• RQ1 다양한 이해관계자를 위한 실행 가능한 클래스로 ML 시스템 실패를 어떻게 분류할 수 있는가?
• RQ2 의도적 versus 비의도적 ML 실패의 정의 특성은 무엇인가?
• RQ3 기술 및 정책 관점에서 ML 실패 모드가 전통적 소프트웨어 실패 모드와 어떻게 다른가?

주요 결과

• 활발한 적대자에 의해 발생한 의도적 실패(Intentional)와 본질적으로 안전하지 않은 결과인 비의도적 실패(Unintentional)를 구분하는 분류체계가 있다.
• 프레임워크는 소프트웨어 개발자, 사건 대응자, 변호사, 정책입안자가 사용할 수 있도록 설계되었다.
• ML 실패 모드는 기술 및 정책 차원에서 전통적 소프트웨어 실패와 의미 있는 차이를 보인다.