[논문 리뷰] Sharing Models or Coresets: A Study based on Membership Inference Attack

Hanlin Lu, Changchang Liu외 3명|arXiv (Cornell University)|2020. 07. 06.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 9

한 줄 요약

이 논문은 모델 정확도, 통신 비용, 및 소속성 추론 공격(MIA)에 의한 개인정보 泄露를 고려하여 피어드 학습과 커퍼스 기반 학습을 비교한다. 커퍼스 기반 학습에 대한 첫 번째 MIA를 제안하며, 전체 정확도에서 피어드 학습이 더 나은 프라이버시를 제공하는 반면, 경량 정확도 손실이 허용 가능한 경우 커퍼스 공유 방식은 상당히 낮은 통신 비용과 감소된 개인정보 泄露를 달성하면서도 유사한 정확도를 확보함을 발견한다.

ABSTRACT

Distributed machine learning generally aims at training a global model based on distributed data without collecting all the data to a centralized location, where two different approaches have been proposed: collecting and aggregating local models (federated learning) and collecting and training over representative data summaries (coreset). While each approach preserves data privacy to some extent thanks to not sharing the raw data, the exact extent of protection is unclear under sophisticated attacks that try to infer the raw data from the shared information. We present the first comparison between the two approaches in terms of target model accuracy, communication cost, and data privacy, where the last is measured by the accuracy of a state-of-the-art attack strategy called the membership inference attack. Our experiments quantify the accuracy-privacy-cost tradeoff of each approach, and reveal a nontrivial comparison that can be used to guide the design of model training processes.

연구 동기 및 목표

• 모델 정확도, 통신 비용, 데이터 프라이버시 측면에서 피어드 학습과 커퍼스 기반 학습을 체계적으로 비교하기 위해.
• 최신 공격 기법인 소속성 추론 공격(MIA)을 활용해 커퍼스 기반 학습의 개인정보 泄露 수준을 평가하기 위해.
• 분산 기계 학습에서 정확도, 통신 비용, 개인정보 泄露 간의 트레이드오프를 정량화하기 위해.
• 다양한 정확도 및 프라이버시 제약 조건 하에서 각 기법의 설계 선택을 안내하기 위해.

제안 방법

• 커퍼스 기반 학습에 특화된 새로운 소속성 추론 공격(MIA)을 제안하며, 모델 출력 및 학습 에포크 동안의 기울기를 입력 특성으로 사용한다.
• 섀도우 모델 기반 MIA 프레임워크를 활용하여, 피어드 학습 및 커퍼스 학습 과정의 중간 모델 상태에서 공격 모델을 훈련시킨다.
• 실세계 데이터셋(Locations 및 Purchase100)을 사용해 제어된 환경에서 모델 성능, 통신 비용, MIA 정확도를 평가한다.
• 피어드 학습의 경우 100 에포크(전체 정확도) 및 30 에포크(부분 정확도)로 모델을 훈련하고, 커퍼스 학습의 경우 목표 정확도에 맞추기 위해 다양한 크기의 커퍼스를 구성한다.
• MIA 공격 정확도를 통해 개인정보 泄露 수준을 측정한다—값이 높을수록 소속성 추론 위험이 크다는 의미이다.
• 구조적 영향을 평가하기 위해 계층형 및 연결형 두 가지 데이터 집계 아키텍처에서 각 기법을 비교한다.

실험 결과

연구 질문

• RQ1 동일한 목표 모델 정확도 하에서 커퍼스 기반 학습의 개인정보 泄露 수준이 피어드 학습보다 어떻게 다른가?
• RQ2 피어드 학습과 커퍼스 기반 학습 간에 통신 비용, 모델 정확도, 개인정보 泄露 수준 간의 트레이드오프는 어떠한가?
• RQ3 모델 정확도가 유사할 때, 모델 업데이트를 공유하는 피어드 학습 대비 커퍼스를 공유하는 것이 더 나은 프라이버시를 제공하는가?
• RQ4 어떤 정확도 요구 조건에서 커퍼스 기반 학습이 프라이버시 및 통신 비용 측면에서 피어드 학습을 능가하는가?
• RQ5 다른 데이터 집계 아키텍처는 커퍼스 및 피어드 학습 시스템에 대한 소속성 추론 공격의 효과성에 어떻게 영향을 미치는가?

주요 결과

• 전체 정확도 시나리오(83.4%)에서 피어드 학습은 더 높은 통신 비용에도 불구하고 더 나은 프라이버시 보호를 제공한다(MIA 정확도: 72.0% vs. 커퍼스의 100%).
• 정확도가 약 79.8%로 낮아졌을 때, 커퍼스 기반 학습은 유사한 모델 성능을 달성하면서도 통신 비용을 크게 낮춘다(9.0M vs. 526.9M), 개인정보 泄露 수준도 낮아진다(MIA 정확도: 51.0% vs. 59.8%).
• 15,000개 샘플로 구성된 커퍼스 접근 방식은 테스트 정확도 78.4%와 MIA 정확도 51%를 기록하며, 30 에포크 피어드 학습 대비 프라이버시 및 비용 측면에서 뛰어난 성능을 보였다.
• 계층형 아키텍처 하에서, 목표 모델 정확도가 약 79%에 도달할 경우 커퍼스 기반 학습은 MIA 정확도를 51%로 낮춰 개인정보 泄露 억제 효과를 입증했다.
• 연결형 아키텍처에서는 커퍼스에 대해 공격 모델이 50%의 정확도를 달성하여 아키텍처 설계가 공격 성공에 영향을 미칠 수 있음을 시사하지만, 여전히 통신 효율성 측면에서 피어드 학습을 능가한다.
• 결과는 피어드 학습에서 기울기가 소속성 정보를 폭 드러내며, 이는 피어드 학습이 프라이버시 보호를 목적으로 하더라도 MIA에 더 취약한 이유를 설명한다.