[논문 리뷰] When Machine Learning Meets Privacy: A Survey and Outlook

Bo Liu, Ming Ding외 4명|arXiv (Cornell University)|2020. 11. 24.

Privacy-Preserving Technologies in Data참고 문헌 170인용 수 96

한 줄 요약

ML의 프라이버시 문제를 포괄적으로 조사하고 ML 역할을 보호 대상, 보호 도구, 공격 도구로 분류하며 향후 연구 방향을 제시한다.

ABSTRACT

The newly emerged machine learning (e.g. deep learning) methods have become a strong driving force to revolutionize a wide range of industries, such as smart healthcare, financial technology, and surveillance systems. Meanwhile, privacy has emerged as a big concern in this machine learning-based artificial intelligence era. It is important to note that the problem of privacy preservation in the context of machine learning is quite different from that in traditional data privacy protection, as machine learning can act as both friend and foe. Currently, the work on the preservation of privacy and machine learning (ML) is still in an infancy stage, as most existing solutions only focus on privacy problems during the machine learning process. Therefore, a comprehensive study on the privacy preservation problems and machine learning is required. This paper surveys the state of the art in privacy issues and solutions for machine learning. The survey covers three categories of interactions between privacy and machine learning: (i) private machine learning, (ii) machine learning aided privacy protection, and (iii) machine learning-based privacy attack and corresponding protection schemes. The current research progress in each category is reviewed and the key challenges are identified. Finally, based on our in-depth analysis of the area of privacy and machine learning, we point out future research directions in this field.

연구 동기 및 목표

• 머신러닝의 프라이버시 분야에서 최신 연구 동향을 조사하고 주요 도전을 식별한다.
• 프라이버시와 ML 간의 상호작용을 세 가지 역할(개인 프라이빗 ML, ML-보조 프라이버시 보호, ML-기반 프라이버시 공격)로 분류한다.
• ML의 프라이버시 관련 공격, 보호 체계, 협력적 학습 접근법을 분석한다.
• 프라이버시 보존 ML에 대한 향후 연구 가이드라인과 방향성을 제시한다.

제안 방법

• 프라이버시에서 ML 역할에 따라 기존 연구를 분류한다 (개인 프라이빗 ML, ML-보조 프라이버시 보호, ML-기반 프라이버시 공격).
• 개인 프라이빗 ML에서의 공격 모델과 보호 체계를 검토하고 모델/데이터 프라이버시 및 다양한 위협 설정(화이트박스/블랙박스)을 다룬다.
• 암호화, 난독화/차등 프라이버시, 그리고 안전한 계산을 ML의 프라이버시 보존 기법으로 논의한다.
• 분산 및 협업 학습 프레임워크(연합 학습, 분할 학습)와 그들의 프라이버시 함의를 설명한다.
• ML-보조 프라이버시 보호 방법과 ML-기반 프라이버시 공격을 요약하여 향후 연구에 대한 시사점을 제공한다.

실험 결과

연구 질문

• RQ1 ML 시스템에서 주요 프라이버시 위협과 프라이버시에서의 ML의 역할은 무엇인가(모델/데이터 프라이버시, 보호 도구로서의 ML, 공격 도구로서의 ML)?
• RQ2 어떤 프라이버시 보존 기법과 구조(암호화, DP, SMC, 연합/분할 학습)가 ML 모델과 데이터를 효과적으로 보호하는가?
• RQ3 기존 연구는 개인 ML, ML-보조 프라이버시 보호, ML-기반 프라이버시 공격 간의 공격과 보호를 어떻게 분류하고 비교하는가?
• RQ4 비정형 데이터와 복잡한 모델을 가진 ML의 프라이버시에서 남은 과제와 향후 방향은 무엇인가?

주요 결과

• ML의 프라이버시는 상호 작용하는 세 가지 역할을 포함한다: ML을 프라이버시 보호 대상으로, 프라이버시 보호 도구로, 그리고 공격 도구로.
• 개인 프라이빗 ML 공격은 학습 데이터 프라이버시와 모델 프라이버시에 초점을 두며 위협으로는 모델 추출, 특징 추정, 구성원 추정, 모델 기억화가 포함된다.
• 차등 프라이버시(DP) 및 관련 프라이버시 계정(모먼트 계정, Rényi DP)이 핵심이지만 ML, 특히 비정형 데이터에 대한 한계가 있다.
• 암호화(동형 암호화 포함)와 안전한 다자간 계산은 데이터와 모델을 보호할 수 있지만 상당한 계산 및 통신 오버헤드를 유발한다.
• 협력 학습 프레임워크(연합 학습과 분할 학습)는 데이터 노출을 줄일 수 있지만 고유한 프라이버시 위험과 방어 필요성을 제기한다.
• ML-보조 프라이버시 보호는 프라이버시 위험을 식별하고 공유 정책을 조정하기 위해 ML을 활용하는 반면, ML-기반 프라이버시 공격은 민감한 데이터를 추론하기 위해 ML 능력을 악용한다.