[논문 리뷰] Security and Machine Learning in the Real World

Ivan Evtimov, Weidong Cui외 4명|arXiv (Cornell University)|2020. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 적대적 기계학습 보안이 고립된 모델 방어에서 시스템 보안 관점으로 전환되어야 한다고 주장하며, 입력 검증, 다중 모델 검증, 강건한 입력 모odal리티와 같은 실용적인 완화 조치를 제안한다. 표준화된 실패 데이터베이스와 ML 시스템에 맞춘 재편된 보안 관행을 촉구하며, 이론적 공격을 뛰어나 실세계의 강건성으로 나아가고자 한다.

ABSTRACT

Machine learning (ML) models deployed in many safety- and business-critical systems are vulnerable to exploitation through adversarial examples. A large body of academic research has thoroughly explored the causes of these blind spots, developed sophisticated algorithms for finding them, and proposed a few promising defenses. A vast majority of these works, however, study standalone neural network models. In this work, we build on our experience evaluating the security of a machine learning software product deployed on a large scale to broaden the conversation to include a systems security view of these vulnerabilities. We describe novel challenges to implementing systems security best practices in software with ML components. In addition, we propose a list of short-term mitigation suggestions that practitioners deploying machine learning modules can use to secure their systems. Finally, we outline directions for new research into machine learning attacks and defenses that can serve to advance the state of ML systems security.

연구 동기 및 목표

• 이론적 적대적 ML 연구와 실세계에서의 ML 애플리케이션 보안 간 격차를 해소하기 위해.
• 현대 기계학습 파이프라인에 전통적인 시스템 보안 관행을 적용할 때의 한계를 규명하기 위해.
• 생산 환경에서 ML 컴ponent를 보호하는 데 실질적인 도움이 되는 단기적 완화 조치를 제안하기 위해.
• 실세계 위협 모델과 시스템 수준의 최선의 관행과 부합하는 새로운 연구 방향을 주장하기 위해.
• 모델 개발에서의 알 수 없는 알 수 없는 요소를 줄이기 위해 공개적이고 표준화된 적대적 실패 사례 데이터베이스를 구축하기 위해.

제안 방법

• 적대적 ML을 시스템 보안 문제로 재정의하여, 고립된 모델 강건성보다는 종단 간 시스템 행동을 강조한다.
• 실세계 구현 사례를 분석하여, 입력 검증 및 패치 적용과 같은 표준 보안 관행을 ML 시스템에 적용할 때 발생하는 실질적 과제를 규명한다.
• 다중 모델 앙상블을 통해 공격을 탐지하고 거부하는 방어 깊이 전략으로 제안한다.
• 적대적 예제를 만드는 데 비용을 증가시키는 강건한 입력 모달리티를 도입한다.
• 모델 신뢰성 향상과 알 수 없는 취약성 감소를 위해 표준화되고 공개 가능한 실패 사례 데이터베이스를 권장한다.
• 기능을 유지하면서 취약점을 패치할 수 있는 보안 업데이트 메커니즘을 제안한다. 이는 출력 분포를 손상시키지 않는다.

실험 결과

연구 질문

• RQ1 대부분의 적대적 공격자들이 이론적 연구에서 가정하는 바와 달리, 실세계 공격자는 입력에 대해 작은, 목표 지향적인 변형을 만들 수 없는가?
• RQ2 알고리즘 기반 방어가 이론적으로는 강력한 성능을 보이지만, 실무에서는 왜 보안 향상에 실패하는가?
• RQ3 복잡하고 데이터 중심의 구성 요소를 가진 기계학습 파이프라인을 보호하기 위해 어떤 시스템 보안 원칙을 적용할 수 있는가?
• RQ4 입력이 고차원적이고 의미적으로 풍부한 시스템에서는 입력 검증과 패치 적용을 어떻게 효과적으로 적용할 수 있는가?
• RQ5 공개적이고 표준화된 적대적 실패 사례 데이터베이스는 ML 시스템의 강건성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 대부분의 실세계 공격자는 입력에 대해 작은, 목표 지향적인 변형을 만들 수 없기 때문에, 많은 표준 적대적 방어 조치가 실무에서는 효과가 없다.
• 입력 검증 및 패치 적용과 같은 일반적인 시스템 보안 관행은 모델 입력의 복잡성과 통계적 성격 때문에 ML 시스템에 적용하기 어렵다.
• 다중 모델 검증은 공격자가 독립적으로 훈련된 여러 모델을 모두 속이도록 요구함으로써 공격 성공 비용을 크게 증가시킨다.
• 구조화되거나 제약이 있는 입력과 같은 강건한 입력 모달리티는 적대적 예제를 생성하는 데 본질적으로 더 높은 비용이 든다.
• 공개적이고 표준화된 실패 사례 데이터베이스는 모델 개발에서의 알 수 없는 알 수 없는 요소 수를 줄여주며, 더 나은 일반화와 더 빠른 대응을 가능하게 한다.
• 현재의 모델 업데이트 관행은 종종 모델 동작이나 출력 분포를 손상시키므로, 취약점을 패치하면서도 기능을 유지하는 새로운 업데이트 메커니즘이 필요하다.