[논문 리뷰] Inference Attacks Against Collaborative Learning.

Luca Melis, Congzheng Song외 2명|arXiv (Cornell University)|2018. 05. 10.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 93

한 줄 요약

이 논문은 공동 학습 시스템이 유추 공격에 취약하다는 것을 입증한다. 여기서 악성 참가자는 공유된 모델 파라미터나 기울기를 통해 정확한 훈련 데이터 포인트(멤버십 유추)와 공동 모델이 포괄하지 않은 숨겨진 데이터 특성까지도 추론할 수 있다. 이러한 공격은 다양한 작업과 데이터셋에서 높은 성공률를 보이며, 분산 및 피어드 학습 환경에서의 중요한 개인정보 유출 위험을 드러낸다.

ABSTRACT

Collaborative machine learning and related techniques such as distributed and federated learning allow multiple participants, each with his own training dataset, to build a joint model. Participants train local models and periodically exchange model parameters or gradient updates computed during the training. We demonstrate that the training data used by participants in collaborative learning is vulnerable to inference attacks. First, we show that an adversarial participant can infer the presence of exact data points in others' training data (i.e., membership inference). Then, we demonstrate that the adversary can infer properties that hold only for a subset of the training data and are independent of the properties that the joint model aims to capture. We evaluate the efficacy of our attacks on a variety of tasks, datasets, and learning configurations, and conclude with a discussion of possible defenses.

연구 동기 및 목표

• 공동 학습 시스템이 훈련 데이터 개인정보를 침해하는 유추 공격에 취약한지 조사하는 것.
• 악성 참가자가 공유된 모델 파라미터나 기울기를 통해 다른 참가자의 훈련 데이터에 포함된 정확한 데이터 포인트를 추론할 수 있음을 입증하는 것.
• 악성 참가자가 모델의 주요 학습 목표와 관련이 없는, 숨겨진 데이터세트 고유의 특성까지도 추론할 수 있는지 탐색하는 것.
• 이러한 공격의 효과성을 다양한 머신러닝 작업, 데이터셋, 공동 학습 설정에서 평가하는 것.
• 공동 학습 프레임워크에서 이러한 유추 위협에 대비한 방어 전략을 논의하는 것.

제안 방법

• 저자는 공동 학습 과정에서 교환되는 공유된 모델 파라미터나 기울기 업데이트를 분석하는 유추 공격을 설계한다.
• 멤버십 유추의 경우, 모델 가중치나 기울기의 변화를 바탕으로 특정 데이터 포인트가 참가자의 훈련 세트에 포함되었는지 여부를 통계적 분석을 통해 판단한다.
• 특성 유추의 경우, 주된 모델 목표와 일치하지 않는 희귀하거나 숨겨진 데이터 특성과 관련된 패턴을 모델 업데이트에서 식별한다.
• 공격는 여러 데이터셋과 학습 설정에서 평가되며, 이미지 분류 및 자연어 처리 작업을 포함한 표준 공동 학습 환경에서 수행된다.
• 모델 업데이트가 데이터를 직접 공유하지 않더라도 기반 훈련 데이터에 대한 정보를 드러낸다는 사실을 활용한다.
• 실험은 다양한 모델 아키텍처, 데이터 분포, 통신 빈도에서의 공격 성공률를 비교한다.

실험 결과

연구 질문

• RQ1 공동 학습 시스템의 악성 참가자가 다른 참가자의 훈련 세트에 특정 데이터 포인트가 포함되었는지 여부를 유추할 수 있는가?
• RQ2 악성 참가자가 주요 학습 목표와 관련이 없는 숨겨진 데이터세트 고유의 특성을 어느 정도까지 유추할 수 있는가?
• RQ3 이러한 유추 공격가 다양한 머신러닝 작업, 데이터셋, 공동 학습 설정에서 얼마나 효과적인가?
• RQ4 이러한 유추 공격의 성공률에 영향을 미치는 요소는 무엇인가?
• RQ5 이러한 공격가 피어드 및 분산 학습의 개인정보 보호 보장을 어떻게 영향을 미치는가?

주요 결과

• 멤버십 유추 공격는 여러 데이터셋과 모델 유형에서 다른 참가자의 훈련 데이터에 특정 데이터 포인트가 포함되었는지 여부를 높은 정확도로 식별하는 데 성공한다.
• 특성 유추 공격는 모델의 주요 목표와 일치하지 않는 희귀하거나 숨겨진 데이터 특성을 탐지할 수 있으며, 이는 모델 업데이트가 의도하지 않은 정보를 泄露한다는 것을 시사한다.
• 비대칭 데이터 분포와 다양한 통신 간격을 포함한 현실적인 공동 학습 환경에서도 공격 성공률가 높게 유지된다.
• 이러한 취약성은 이미지 분류 및 자연어 처리와 같은 다양한 작업에서 일관되게 나타나며, 위협의 광범위한 적용 가능성을 시사한다.
• 결과적으로 공동 학습 시스템은 모델 파rameter와 기울기의 노출로 인해 본질적으로 유추 공격에 취약하다는 것이 입증된다.
• 이 연구는 현재의 공동 학습 프로토콜이 훈련 데이터 개인정보 보호를 충분히 보장하지 못하며, 더 강력한 방어 메커니즘이 필요하다는 것을 드러낸다.