[논문 리뷰] CaPC Learning: Confidential and Private Collaborative Learning

Christopher A. Choquette-Choo, Natalie Dullerud외 5명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 24

한 줄 요약

CaPC 학습은 중앙 집중형 데이터나 공통 모델 아키텍처가 필요 없이도 데이터 기밀성과 프라이버시를 모두 유지하는 최초의 기밀성과 비밀성 보장 협업 기계학습 방법을 제안한다. 보안 다자간 계산(MPC), 동형 암호화(HE), 그리고 비밀스럽게 집계된 교사 모델을 조합함으로써 CaPC는 각 당사자가 독립적으로 자신의 로컬 모델을 향상시키면서도 명시적 및 암시적 데이터 泄露를 방지할 수 있다.

ABSTRACT

Machine learning benefits from large training datasets, which may not always be possible to collect by any single entity, especially when using privacy-sensitive data. In many contexts, such as healthcare and finance, separate parties may wish to collaborate and learn from each other's data but are prevented from doing so due to privacy regulations. Some regulations prevent explicit sharing of data between parties by joining datasets in a central location (confidentiality). Others also limit implicit sharing of data, e.g., through model predictions (privacy). There is currently no method that enables machine learning in such a setting, where both confidentiality and privacy need to be preserved, to prevent both explicit and implicit sharing of data. Federated learning only provides confidentiality, not privacy, since gradients shared still contain private information. Differentially private learning assumes unreasonably large datasets. Furthermore, both of these learning paradigms produce a central model whose architecture was previously agreed upon by all parties rather than enabling collaborative learning where each party learns and improves their own local model. We introduce Confidential and Private Collaborative (CaPC) learning, the first method provably achieving both confidentiality and privacy in a collaborative setting. We leverage secure multi-party computation (MPC), homomorphic encryption (HE), and other techniques in combination with privately aggregated teacher models. We demonstrate how CaPC allows participants to collaborate without having to explicitly join their training sets or train a central model. Each party is able to improve the accuracy and fairness of their model, even in settings where each party has a model that performs well on their own dataset or when datasets are not IID and model architectures are heterogeneous across parties.

연구 동기 및 목표

• 개인정보 보호 규정으로 인해 기밀성과 프라이버시를 모두 유지해야 하는 협업 기계학습 분야의 격차를 메우기 위해.
• 연합 학습의 한계를 극복하기 위해, 기존 방법은 기밀성만 보장하지만 기울기 정보를 통해 비밀 정보가 泄露되는 문제를 해결하기 위해.
• 데이터 공유나 사전에 합의된 중심 모델 아키텍처가 필요 없이 협업 학습을 가능하게 하기 위해.
• 참가자 간 이질적인 모델 아키텍처와 비IIDs 데이터 분포를 지원하기 위해.
• 중앙 집중적으로 데이터를 집계할 수 없는 협업 학습 환경에서 증명 가능한 프라이버시와 기밀성을 확보하기 위해.

제안 방법

• 기본 입력을 드러내지 않으면서 분산 학습 계산을 수행하기 위해 보안 다자간 계산(MPC)을 활용한다.
• 암호화된 데이터에서 계산을 가능하게 하여 프라이버시를 유지하는 동형 암호화(HE)를 사용한다.
• 학습 데이터를暴露하지 않고도 참가자 간 지식을 전달하기 위해 비밀스럽게 집계된 교사 모델을 도입한다.
• 모델 학습과 모델 집계를 분리하여 각 당사자가 자신의 로컬 모델을 독립적으로 학습하고 향상시킬 수 있도록 한다.
• 참가자 간 교환되는 것은 원시 데이터가 아닌 암호화되거나 가로막힌 모델 업데이트 뿐이므로, 데이터 공유를 방지한다.
• criptographic 보장을 통해 기밀성(데이터 공유 없음)과 프라이버시(모델 출력에서의 추론 방지)를 모두 확보한다.

실험 결과

연구 질문

• RQ1 기밀성과 프라이버시를 모두 보장하는 협업 학습 프레임워크를 설계할 수 있는가? (특히 개인정보가 민감한 상황에서).
• RQ2 원시 데이터나 중심 모델을 학습하지 않고서도 참가자들이 자신의 로컬 모델을 향상시킬 수 있는가?
• RQ3 이 프레임워크는 참가자 간 이질적인 모델 아키텍처와 비IIDs 데이터 분포를 지원할 수 있는가?
• RQ4 협업 학습 환경에서 명시적 및 암시적 데이터 泄露를 방지하기 위해 어떤 암호 기법을 조합할 수 있는가?
• RQ5 모델 정확도와 공정성을 유지하면서도 증명 가능한 프라이버시와 기밀성을 달성할 수 있는가?

주요 결과

• CaPC 학습은 원시 데이터나 중심 모델을 공유하지 않으면서도 각 당사자가 자신의 로컬 모델 정확도와 공정성을 향상시킬 수 있다.
• 이 방법은 기밀성과 프라이버시를 모두 확보하여 명시적 데이터 공유와 모델 출력을 통한 추론 공격을 모두 방지한다.
• CaPC는 이질적인 모델 아키텍처와 비IIDs 데이터 분포를 지원하여 실제 협업 환경에 적합하다.
• 사전에 합의된 모델 아키텍처가 필요 없어, 참가자들이 자신의 모델을 독립적으로 학습하고 개선할 수 있다.
• 비밀스럽게 집계된 교사 모델을 사용함으로써 CaPC는 학습 데이터나 중간 모델 상태를暴露하지 않고도 지식 전달을 가능하게 한다.
• 암호학적 가정 하에 증명 가능한 보안성을 확보하여 협업 학습 환경에서 기밀성과 프라이버시를 보장한다.