[논문 리뷰] An Overview of Privacy in Machine Learning

Emiliano De Cristofaro|arXiv (Cornell University)|2020. 05. 18.

Privacy-Preserving Technologies in Data참고 문헌 52인용 수 15

한 줄 요약

이 논문은 기계학습에서의 프라이버시 위협에 대한 종합적인 설문 조사로, 멤버십 인식 공격, 모델 역전공격, 성질 인식 공격 및 모델 도용 공격을 중심으로 다룹니다. 특히 차별적 프라이버시와 적대적 정규화를 포함한 기존의 방어 조치를 검토하면서도, 평가의 격차, 실제 영향 평가 및 GDPR과 같은 데이터 보호 규정과의 일치성 부족을 강조합니다.

ABSTRACT

Over the past few years, providers such as Google, Microsoft, and Amazon have started to provide customers with access to software interfaces allowing them to easily embed machine learning tasks into their applications. Overall, organizations can now use Machine Learning as a Service (MLaaS) engines to outsource complex tasks, e.g., training classifiers, performing predictions, clustering, etc. They can also let others query models trained on their data. Naturally, this approach can also be used (and is often advocated) in other contexts, including government collaborations, citizen science projects, and business-to-business partnerships. However, if malicious users were able to recover data used to train these models, the resulting information leakage would create serious issues. Likewise, if the inner parameters of the model are considered proprietary information, then access to the model should not allow an adversary to learn such parameters. In this document, we set to review privacy challenges in this space, providing a systematic review of the relevant research literature, also exploring possible countermeasures. More specifically, we provide ample background information on relevant concepts around machine learning and privacy. Then, we discuss possible adversarial models and settings, cover a wide range of attacks that relate to private and/or sensitive information leakage, and review recent results attempting to defend against such attacks. Finally, we conclude with a list of open problems that require more work, including the need for better evaluations, more targeted defenses, and the study of the relation to policy and data protection efforts.

연구 동기 및 목표

• 기계학습 서비스(MLaaS)의 맥락에서 기계학습의 프라이버시 위협을 체계적으로 검토하는 것.
• 멤버십 인식 공격 및 모델 역전공격과 같은 프라이버시 공격의 실현 가능성과 실제 영향을 분석하는 것.
• 차별적 프라이버시와 적대적 정규화를 포함한 기존의 방어 기법을 유용성-프라이버시 상충 관계 측면에서 평가하는 것.
• 평가 프레임워크, 실용적 구현 및 GDPR과 같은 데이터 보호 규정과의 일치성 부족과 같은 핵심 연구 격차를 규명하는 것.
• 기본 벤치마크 데이터셋을 넘어서 더 엄격하고 현실적인 평가가 필요하다는 것을 촉구하는 것.

제안 방법

• 멤버십 인식, 모델 역전공격, 성질 인식 및 모델/기능 도용 공격를 포함한 기계학습에서의 프라이버시 공격에 대한 체계적 문헌 조사 수행.
• 적대자 모델과 위협 설정에 따라 공격를 분류하며, 화이트박스,_BLK박스 및 쿼리 기반 위협 모델 간의 차이를 명확히 함.
• 차별적 프라이버시(매개변수화된 노이즈 주입 포함), 적대적 훈련, 드롭아웃, 가중치 정규화 및 기울기 공유와 같은 방어 기법 검토.
• 특히 차별적 프라이버시 학습에서 모델 유용성과 프라이버시 보호 간의 상충 관계를 분석하며, 프라이버시 예산(ε)과 정확도 손실 등의 지표를 사용.
• 기존 연구의 실증 결과를 바탕으로 방어 기법의 효과성을 평가하며, 특히 Jayaraman과 Evans(2019)의 ε-유용성 상충 관계 연구를 중심으로 분석.
• 프라이버시 공격를 법적 프레임워크, 특히 GDPR의 '개별 식별' 개념과 연결하여 정책적 함의를 평가.

실험 결과

연구 질문

• RQ1 멤버십 인식 공격는 실제 MLaaS 환경에서 얼마나 효과적인가? 성공에 영향을 미치는 요소는 무엇인가?
• RQ2 차별적 프라이버시와 적대적 정규화와 같은 기존 방어 조치는 모델 유용성 저하 없이 프라이버시 泄露를 얼마나 효과적으로 완화하는가?
• RQ3 프라이버시 방어 기법 평가의 주요 한계는 무엇이며, 표준 벤치마크가 실제 성능을 반영하지 못하는 이유는 무엇인가?
• RQ4 프라이버시 공격는 GDPR과 같은 규정에서 정의한 식별 및 데이터 보호 개념과 어떻게 연결되는가?
• RQ5 실용적이고 대상에 맞추어진, 평가 가능한 프라이버시 보존 기계학습 시스템을 설계하는 데 있어 가장 시급한 열린 문제는 무엇인가?

주요 결과

• 멤버십 인식 공격는 실현 가능하고 효과적이며, 과적합된 모델에서 특히 그렇지만, 사례 연구 부족 및 공격자 사전 지식 모델링 부족으로 인해 실제 영향은 명확하지 않다.
• 모델 역전공격는 민감한 훈련 데이터를 재구성할 수 있으며, 특히 비프라이버시 모델에서 그렇지만, 성공 여부는 모델 아키텍처와 데이터 분포에 따라 다양하다.
• 차별적 프라이버시 기반 기계학습는 일반적으로 심각한 유용성-프라이버시 상충 관계를 겪는다: 강력한 프라이버시(낮은 ε)는 사용 불가능한 모델을 초래하고, 높은 유용성(높은 ε)은 약한 프라이버시 보장을 제공한다.
• 일괄적인 방어 조치는 존재하지 않으며, 프라이버시와 유용성 간의 상충 관계는 맥락에 따라 달라지며, 신중한 튜닝과 평가가 필요하다.
• 현재의 평가 관행은 부적절하다: 대부분의 연구는 공개 데이터셋과 표준 모델에 의존하여 실제 환경의 복잡성이나 구현 조건을 반영하지 못한다.
• 기술적 프라이버시 연구를 정책 프레임워크, 특히 GDPR의 '개별 식별' 개념과 일치시킬 필요성이 절실하다. 이는 법적 및 기술적 프라이버시의 일치를 보장하기 위함이다.