[논문 리뷰] Leakage of Dataset Properties in Multi-Party Machine Learning

Wanrong Zhang, Shruti Tople외 1명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 28

한 줄 요약

이 논문은 보안 다자 간 기계학습 환경에서, 민감한 속성이 포함된 데이터셋의 전반적 분포를 다른 당사자의 모델에 대한 블랙박스 액세스만으로도 궁금한 당사자가 유추할 수 있음을 보여준다. 민감한 속성이 학습에 포함되지 않았거나 다른 특성과 상관관계가 낮더라도, 데이터 내 숨겨진 상관관계로 인해 유출가능성이 발생하여, 전체 집단 수준의 개인정보가 위협받는다.

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a ``curious'' party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes or the target variable.

연구 동기 및 목표

• 보안 다자 간 기계학습 환경에서, 민감한 속성의 분포와 같은 전반적 데이터셋 특성이 누출될 수 있는지 조사하는 것.
• 블랙박스 모델 액세스만 제공되는 상황에서 다른 당사자의 데이터에 대한 집단 수준 통계를 유추할 수 있는지 평가하는 것.
• 민감한 속성을 제거하는 것과 같은 일반적인 방어 조치의 효과를 평가하는 것. 이는 데이터 상관관계가 여전히 누출 가능성을 남길 수 있기 때문이다.
• 민감한 속성과 다른 특성 간의 데이터 상관관계가 이러한 누출을 가능하게 하는 역할을 하는지 이해하는 것.
• 이러한 누출이 표본, 텍스트, 그래프 데이터 등 다양한 데이터 유형에 걸쳐 가능함을 보여주는 것.

제안 방법

• 공격은 최종 모델에 대한 블랙박스 쿼리 인터페이스를 사용하며, 유의미한 출력 차이를 관찰하기 위해 정교하게 구성된 프로빙 데이터셋에 대해 추론 쿼리를 수행한다.
• 민감한 속성의 분포를 다른 당사자의 데이터에서 추론하기 위해, 모델의 예측 출력을 기반으로 로지스틱 회귀 메타분류기 모델을 훈련한다.
• 특정 민감한 속성 값 비율을 변화시킨 프로빙 데이터셋을 구성함으로써, 진짜 분포를 통계적으로 추론할 수 있도록 한다.
• 이 방법은 표본(예: adult, random), 텍스트(예: IMDB), 그래프(예: Cora) 데이터셋 등 다양한 데이터 유형에서 평가된다.
• 민감한 속성과 다른 특성 간 상관관계 수준이 다양하게 설정된 조건에서 공격를 테스트하며, 민감한 속성이 학습 데이터에 포함되지 않은 경우도 포함된다.
• 일부 당사자가 솔직하지만 호기심이 많은 것으로 가정하는 위협 모델을 고려한다. 즉, 데이터나 모델 코드를 조작하지는 않지만, 전반적 속성 정보를 추출하려는 목적을 가진다.

실험 결과

연구 질문

• RQ1 블랙박스 모델에 대한 액세스만을 가진 당사자가, 풀링된 데이터로 학습된 모델을 통해 다른 당사자의 데이터셋에 포함된 민감한 속성의 분포를 유추할 수 있는가?
• RQ2 민감한 속성이 학습 데이터에서 제거된 경우에도 전반적 데이터셋 특성의 누출이 지속되는가?
• RQ3 민감한 속성이 다른 특성 또는 목표 변수와의 상관관계가 낮거나 0인 경우, 공격의 효과는 어떠한가?
• RQ4 민감한 속성과 다른 특성 간의 숨겨진 상관관계가 다자 간 학습 환경에서 누출을 가능하게 하는 정도는 어느 정도인가?
• RQ5 민감한 속성을 제거하는 것과 같은 기존 방어 조치가 이 환경에서 집단 수준의 특성 누출을 방지하는 데 효과적인가?

주요 결과

• 공격는 블랙박스 쿼리 100~200개만으로도 다른 당사자의 민감한 속성 분포를 높은 정확도로 유추하는 데 성공한다.
• 민감한 속성이 학습 데이터에 포함되지 않은 경우에도 누출이 발생함을 확인하였으며, 이는 데이터 내 상관관계 자체가 충분한 유추 조건가능성을 제공함을 시사한다.
• 이 방법은 표본, 텍스트, 그래프 데이터 등 다양한 데이터 유형에 대해 작동함을 입증하여 광범위한 적용 가능성을 보였다.
• 민감한 속성이 다른 특성 또는 목표 변수와의 상관관계가 거의 없더라도, 데이터 내 간접적 상관관계로 인해 공격는 여전히 효과가 있다.
• 민감한 속성을 제거하는 단순한 방어 조치는 충분하지 않으며, 데이터 상관관계를 통해 정보가 여전히 복원 가능하다.
• 두 명의 당사자 간 설정에서는 누출이 더 두드러지며, 두 명 이상의 당사자가 참여하는 다자 설정에서는 특정 당사자에 대한 속성 매핑 능력이 떨어져 신호가 약화된다.