[논문 리뷰] A Marauder's Map of Security and Privacy in Machine Learning

Nicolas Papernot|arXiv (Cornell University)|2018. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 11

한 줄 요약

이 논문은 일반화와 강건성과 같은 핵심 머신러닝 목표와 보안 및 프라이버시 목표를 정렬함으로써 머신러닝 시스템의 보안성과 프라이버시를 체계적으로 확보하고자 하는 프레임워크를 제안한다. Saltzer와 Schroeder의 보안 원칙에 기반한 공식 정책, 입국 제어, 감사 메커니즘을 주장하며, 공식 기반 레이블 집계를 통한 차별적 프라이버시와 강건한 학습에서의 핵심 발전을 이룩한다.

ABSTRACT

There is growing recognition that machine learning (ML) exposes new security and privacy vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited but expanding. In this talk, we explore the threat model space of ML algorithms through the lens of Saltzer and Schroeder's principles for the design of secure computer systems. This characterization of the threat space prompts an investigation of current and future research directions. We structure our discussion around three of these directions, which we believe are likely to lead to significant progress. The first encompasses a spectrum of approaches to verification and admission control, which is a prerequisite to enable fail-safe defaults in machine learning systems. The second seeks to design mechanisms for assembling reliable records of compromise that would help understand the degree to which vulnerabilities are exploited by adversaries, as well as favor psychological acceptability of machine learning applications. The third pursues formal frameworks for security and privacy in machine learning, which we argue should strive to align machine learning goals such as generalization with security and privacy desiderata like robustness or privacy. Key insights resulting from these three directions pursued both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by systematizing best practices in our community.

연구 동기 및 목표

• 기초 보안 원칙을 활용하여 머신러닝 보안 및 프라이버시의 위협 환경을 식별하고 체계화하기.
• 머신러닝 시스템을 위한 공식적이고 기계로 해석 가능한 보안 및 프라이버시 정책의 부재를 해결하기.
• 데이터 기원이 약한 환경에서 입국 제어 및 감사가 보증 수준을 향상시키는 방식을 탐색하기.
• 일반화와 강건성과 같은 머신러닝 목표를 보안 및 프라이버시 요구사항과 정렬하기.
• 시각 분야에서의 ℓp-노름 변형과 같은 도메인 특화 수식을 초월하는 통합 공식화를 제안하기.

제안 방법

• 머신러닝 위협 모델을 분석하기 위해 Saltzer와 Schroeder의 보안 원칙을 렌즈로 활용하기.
• 머신러닝 시스템에서 실패 안전 기본 설정을 강제하기 위한 검증 및 입국 제어 메커니즘의 스펙트럼 제안하기.
• 감사 및 심리적 수용성을 위해 손상 기록을 신뢰할 수 있는 방식으로 구성하는 메커니즘 설계하기.
• 차별적 프라이버시를 통한 프라이버시와 일반화와의 정렬을 위한 공식 프레임워크 도입하기.
• PATE에서 공식 기반 레이블 집계를 적용하여 정확도 향상과 동시에 프라이버시 예산 감소를 동시에 달성하기.
• 알고리즘과 학습 데이터의 특성으로서의 보안 및 프라이버시를 정의하며, 도메인에 관계없이 적용 가능한 정의에 중점을 두기.

실험 결과

연구 질문

• RQ1 머신러닝 시스템의 보안 및 프라이버시 정책을 정밀한 의미론과 기계로 읽을 수 있는 방식으로 공식적으로 명시할 수 있는가?
• RQ2 입국 제어 및 입력-출력 검증은 데이터 기원이 약한 머신러닝 시스템에서 보증 수준을 어떻게 향상시킬 수 있는가?
• RQ3 공식적 프레임워크는 일반화와 강건성과 같은 핵심 머신러닝 목표와 보안 및 프라이버시 보장을 어떻게 통합할 수 있는가?
• RQ4 머신러닝 모델에서 강건한 학습, 프라이빗 학습, 일반화 사이의 관계는 무엇인가?
• RQ5 학습 시간 및 테스트 시간의 적대자 모델을 통합함으로써 머신러닝 시스템의 내구성 이해를 어떻게 향상시킬 수 있는가?

주요 결과

• PATE에서 공식 기반 레이블 집계는 레이블당 프라이버시 예산을 감소시킴으로써 정확도 향상과 동시에 프라이버시 개선을 동시에 달성한다.
• 교사 모델들 간의 높은 공감대는 집계된 레이블의 정확도를 높이고 개별 모델의 투표에 대한 민감도를 낮춰 신뢰성을 향상시킨다.
• 차별적 프라이버시가 최악의 경우 프라이버시 보장을 평균적인 일반화와 정렬함으로써 성능 저하 없이 더 강력한 프라이버시 보장을 가능하게 한다.
• 보안 및 프라이버시 정책은 인간의 가독성과 기계로의 강제 실행 사이의 균형을 고려해 공식화되어야 하며, 명확성과 정확성을 확보해야 한다.
• 이미지 특화 제약 조건인 ℓp-노름 변형을 초월하는 도메인에 관계없이 적용 가능한 강건성의 공식화가 절실한 필요성이 있다.
• 실패 안전 기본 설정과 감사 메커니즘의 통합은 머신러닝 응용 프로그램의 심리적 수용성과 신뢰도를 크게 향상시킬 수 있다.