[논문 리뷰] Privacy-Preserving Machine Learning: Methods, Challenges and Directions

Runhua Xu, Nathalie Baracaldo외 1명|arXiv (Cornell University)|2021. 08. 10.

Privacy-Preserving Technologies in Data참고 문헌 197인용 수 75

한 줄 요약

PGU 삼원구조(Phase, Guarantee, Utility)를 도입하여 PPML 솔루션을 평가하고, 분류 체계, 도전과제, 향후 방향을 제시하는 프라이버시 보존 ML(PPML)에 대한 체계적 고찰.

ABSTRACT

Machine learning (ML) is increasingly being adopted in a wide variety of application domains. Usually, a well-performing ML model relies on a large volume of training data and high-powered computational resources. Such a need for and the use of huge volumes of data raise serious privacy concerns because of the potential risks of leakage of highly privacy-sensitive information; further, the evolving regulatory environments that increasingly restrict access to and use of privacy-sensitive data add significant challenges to fully benefiting from the power of ML for data-driven applications. A trained ML model may also be vulnerable to adversarial attacks such as membership, attribute, or property inference attacks and model inversion attacks. Hence, well-designed privacy-preserving ML (PPML) solutions are critically needed for many emerging applications. Increasingly, significant research efforts from both academia and industry can be seen in PPML areas that aim toward integrating privacy-preserving techniques into ML pipeline or specific algorithms, or designing various PPML architectures. In particular, existing PPML research cross-cut ML, systems and applications design, as well as security and privacy areas; hence, there is a critical need to understand state-of-the-art research, related challenges and a research roadmap for future research in PPML area. In this paper, we systematically review and summarize existing privacy-preserving approaches and propose a Phase, Guarantee, and Utility (PGU) triad based model to understand and guide the evaluation of various PPML solutions by decomposing their privacy-preserving functionalities. We discuss the unique characteristics and challenges of PPML and outline possible research directions that leverage as well as benefit multiple research communities such as ML, distributed systems, security and privacy.

연구 동기 및 목표

• ML 파이프라인에서의 프라이버시 위험과 규제 제약으로 PPML의 필요성을 제시한다.
• Phase, Guarantee, Utility로 구성된 포괄적 프레임워크(PGU)를 제안하여 PPML 접근법을 단계, 보장 및 유용성 측면에서 평가한다.
• PPML 솔루션을 데이터 게시(data publishing), 데이터 처리(data processing), 아키텍처(architectural), 하이브리드(hybrid) 범주로 분류한다.
• 객체 지향적 관점과 파이프라인 지향적 관점에서 프라이버시 보장을 분석한다.]
• method:["PPML 기능을 분해하기 위해 PGU(Phase, Guarantee, Utility) 삼원체를 제안한다.","데이터 준비(data preparation), 모델 생성(model generation), 서빙(serving), 추론(inference) 등 프라이버시 보존 단계에 PPML 솔루션을 매핑한다.","객체 지향적 프라이버시 보장(input data 및 model weights)과 파이프라인 지향적 보장(local, global, full-chain privacy)을 구분한다.","PPML 기법을 데이터 게시, 데이터 처리, 아키텍처 및 하이브리드 접근법으로 분류하고 그들의 유용성 영향(utility impacts)을 평가한다.","프라이버시 측정의 도전과제, 공격/방어 전략, 효율성 고려사항에 대해 논의한다."]
• research_questions:[

제안 방법

• PPML 기능을 분해하기 위해 PGU(Phase, Guarantee, Utility) 삼원체를 제안한다.
• 데이터 준비(data preparation), 모델 생성(model generation), 서빙(serving), 추론(inference) 등 프라이버시 보존 단계에 PPML 솔루션을 매핑한다.
• 객체 지향적 프라이버시 보장(input data 및 model weights)과 파이프라인 지향적 보장(local, global, full-chain privacy)을 구분한다.
• PPML 기법을 데이터 게시, 데이터 처리, 아키텍처 및 하이브리드 접근법으로 분류하고 그들의 유용성 영향(utility impacts)을 평가한다.
• 프라이버시 측정의 도전과제, 공격/방어 전략, 효율성 고려사항에 대해 논의한다.

실험 결과

연구 질문

• RQ1 PPML 접근법이 ML 파이프라인 전반에 걸쳐 제공하는 핵심 프라이버시 보장 기능은 무엇인가?
• RQ2 PGU 프레임워크를 어떻게 활용하여 PPML 솔루션의 프라이버시 보장의 강도와 범위를 평가할 수 있는가?
• RQ3 PPML에서 기술적 접근법과 그것이 유용성에 미치는 영향을 가장 잘 포착하는 분류 체계는 무엇인가?
• RQ4 향후 PPML 연구의 미해결 도전과 유망한 방향은 무엇인가?

주요 결과

• PPML 솔루션은 다양하며 Phase, Guarantee, and Utility(PGU) 렌즈를 통해 이해할 수 있다.
• 프라이버시 보장은 객체 지향적(data/model) 관점과 파이프라인 지향적(local/global/full-chain) 관점에서 분석할 수 있다.
• 데이터 게시(data publishing), 데이터 처리(data processing), 아키텍처(architectural), 하이브리드(hybrid)로 구성된 사분류 분류가 주요 PPML 접근 방법과 유용성의 트레이드오프를 포착한다.
• 프라이버시 보존 데이터 준비는 종종 익명화나 차등 프라이버시(differential privacy)에 의존하는 반면, 암호화 기반 학습/추론은 HE/FE 및 관련 기법을 활용한다.
• 완전한 프라이버시 보존 파이프라인은 드물며 프라이버시 보존 학습 및 서빙 전략의 통합이 필요하다.
• 본 논문은 측정, 공격/방어, 효율성, 프라이버시-유용성 트레이드오프, 벤치마킹에 이르는 미해결 문제와 방향성을 제시한다.