[논문 리뷰] Dataset-Level Attribute Leakage in Collaborative Learning.

Wanrong Zhang, Shruti Tople외 1명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 8

한 줄 요약

이 논문은 보안 다자간 계산을 통한 협업 기계학습이, 최종 모델에 대한 블랙박스 액세스만 허용되더라도 글로벌 데이터셋 수준의 특성—예를 들어 민감한 특성의 분포—를 당사자 간에 泄露할 수 있음을 드러낸다. 이 공격은 표본, 텍스트, 그래프 데이터 전반에 걸쳐 작동하며, 민감한 특성이 훈련 데이터에 포함되어 있지 않고 다른 특성과 상관관계가 낮더라도 인구 수준의 정보가 泄露됨을 보여준다.

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a curious party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes and the target variable.

연구 동기 및 목표

• 보안 다자간 기계학습이 민감한 특성의 분포와 같은 데이터셋의 글로벌 특성을 뜻하지 않게 泄露할 수 있는지 조사하기.
• 민감한 특성이 훈련 데이터에 포함되어 있지 않고 다른 특성과 상관관계가 낮을 경우에도 이러한 泄露가 발생하는지 검토하기.
• 민감한 특성과 다른 데이터 간의 다양한 상관관계 구조를 모델링하여 이 泄露의 메커니즘을 이해하기.
• 표본, 텍스트, 그래프 구조 데이터를 포함한 다양한 데이터 유형에서 이 泄루의 강건성 평가하기.
• 다양한 모델 아키텍처와 훈련 설정에서 특성 泄루의 정도와 정확도 측정하기.

제안 방법

• 저자들은 최종 모델에 대한 블랙박스 액세스만 허용될 때, 다른 당사자의 데이터셋에서 민감한 특성의 분포를 재구성하기 위해 블랙박스 추론 공격을 설계한다.
• 민감한 특성과 다른 특성 간의 상관관계를 저도 및 비선형 상관관계를 포함한 여러 상관관계 구조로 모델링한다.
• 모델 출력(예: 예측값, 기울기 또는 로짓)을 활용하여 다른 당사자의 데이터에서 민감한 특성의 글로벌 통계를 추정한다.
• 다양한 데이터 유형에서 피드포워드 네트워크, GNN, BERT 기반 모델을 포함한 여러 기계학습 모델을 대상으로 방법을 평가한다.
• 통계적 추론 기법을 사용하여 다른 당사자의 데이터셋에서 민감한 특성의 양성 인스턴스 비율을 높은 정확도로 추정한다.
• 실제 세계 데이터셋을 활용해 표본, 텍스트, 그래프 도메인에서의 일반화를 입증하기 위해 실증 검증을 수행한다.

실험 결과

연구 질문

• RQ1 협업 모델에 대한 블랙박스 액세스만 허용될 때, 호기심 많은 당사자가 다른 당사자의 데이터셋에서 민감한 특성의 글로벌 분포를 추론할 수 있는가?
• RQ2 민감한 특성이 훈련 데이터에 포함되어 있지 않고 다른 특성과 상관관계가 낮을 경우에도 데이터셋 수준의 특성 泄루가 지속되는가?
• RQ3 표본, 텍스트, 그래프 구조 데이터와 같은 다양한 데이터 모odalities 간에 泄루는 어떻게 달라지는가?
• RQ4 모델 아키텍처와 훈련 동역학이 이러한 종류의 특성 泄루를 가능하게 하거나 완화하는 데 어떤 역할을 하는가?
• RQ5 모델 출력에 대한 통계적 추론을 통해 이 泄루를 얼마나 정량화하고 측정할 수 있는가?

주요 결과

• 민감한 특성이 훈련 데이터에 포함되어 있지 않더라도, 공격은 다른 당사자의 데이터셋에서 민감한 특성의 분포를 매우 높은 정확도로 추론할 수 있다.
• 민감한 특성이 다른 특성과 상관관계가 낮고 목표 변수와도 상관관계가 낮을 경우에도 泄루가 발생함을 보여주며, 강한 특성 종속성에 의존하지 않는다는 것을 시사한다.
• 이 방법은 표본, 텍스트, 그래프 데이터를 포함한 여러 데이터 유형으로 일반화되며, 이 공격의 광범위한 적용 가능성을 보여준다.
• 기울기나 내부 모델 상태에 대한 액세스 없이도 블랙박스 쿼리만으로도 泄루를 탐지하고 정량화할 수 있다.
• 결과적으로 글로벌 데이터셋 특성—특정 민감한 특성을 지닌 개인의 비율 등—이 최소한의 오차로 재구성될 수 있음을 보여주며, 심각한 개인정보 유출 우려를 제기한다.
• 본 연구는 보안 다자간 계산과 같은 강력한 보안 가정 하에서도 데이터셋 수준의 특성 기밀성이 위협받을 수 있음을 드러낸다.