[논문 리뷰] SoK: Let the Privacy Games Begin! A Unified Treatment of Data Inference Privacy in Machine Learning

Ahmed Salem, Giovanni Cherubin외 6명|arXiv (Cornell University)|2022. 12. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 기계학습에서의 데이터 추론 개인정보 위험을 체계화하기 위해 통합된 게임 기반 프레임워크를 제안한다. 이 프레임워크는 회원성, 속성, 성격, 차별화된 개인정보 보호 구분 가능성, 데이터 재구성 추론의 다섯 가지 핵심 위협을 확률적 게임으로 형식화한다. 이는 이러한 위험 간의 엄밀한 감소와 분리 관계를 수립하여 이전에 알려지지 않은 관계를 드러내며, 기계학습 시스템에서의 개인정보 증명의 더 명확한 추론, 조합, 기계화를 가능하게 한다.

ABSTRACT

Deploying machine learning models in production may allow adversaries to infer sensitive information about training data. There is a vast literature analyzing different types of inference risks, ranging from membership inference to reconstruction attacks. Inspired by the success of games (i.e., probabilistic experiments) to study security properties in cryptography, some authors describe privacy inference risks in machine learning using a similar game-based style. However, adversary capabilities and goals are often stated in subtly different ways from one presentation to the other, which makes it hard to relate and compose results. In this paper, we present a game-based framework to systematize the body of knowledge on privacy inference risks in machine learning. We use this framework to (1) provide a unifying structure for definitions of inference risks, (2) formally establish known relations among definitions, and (3) to uncover hitherto unknown relations that would have been difficult to spot otherwise.

연구 동기 및 목표

• 기계학습 개인정보 공격에 관한 문헌에서의 분열 문제를 해결하기 위해, 적의 능력과 목적이 일관되지 않게 정의되어 있는 문제를 해결한다.
• 멤버십, 속성, 성격, 차별화된 개인정보 보호 구분 가능성, 데이터 재구성의 다섯 가지 기본 개인정보 추론 위험을 명확한 의미론을 가진 게임 기반 정의로 형식화한다.
• 정량적 감소 개념을 사용하여 이러한 개인정보 위험 간의 공식적 관계(감소 및 분리)를 수립한다.
• 구조화되고 코드 기반의 게임 프레임워크를 통해 더 명확한 추론, 조합, 개인정보 증명의 기계화를 가능하게 한다.
• 복잡한 공격 시나리오가 더 단순한 추론 게임의 조합으로 분해될 수 있음을 보여주는 사례 연구를 통해 프레임워크의 유용성을 입증한다.

제안 방법

• 게임 기반 개인정보 정의를 핵심 구성 요소로 분해: 적의 능력, 데이터셋 및 도전 선택, 성공 측정 기준.
• 다섯 가지 개인정보 위험 각각을 챌린저와 적이 오라클을 통해 상호작용하는 확률적 게임으로 표현한다.
• 개념적 감소 개념을 정의하여 개인정보 특성 간의 함의 또는 불가능성을 공식적으로 증명할 수 있도록 한다.
• 형식적 의미론을 가진 게임 시퀀스 변환을 사용하여 감소 및 분리를 증명하고, 기계화 가능한 추론을 가능하게 한다.
• 기존 문헌에서 주장된 멤버십 추론 변종을 멤버십 및 성격 추론 게임의 조합으로 분해하여 분석하기 위해 프레임워크를 적용한다.
• 기존 프로그램 논리 및 검증 도구(예: EasyCrypt)를 활용하기 위해 게임을 명확한 의미론을 가진 확률적 프로그램으로 모델링한다.

실험 결과

연구 질문

• RQ1 기계학습에서 다양한 형식과 일관성 없는 개인정보 추론 공격를 어떻게 통합할 수 있는가?
• RQ2 다른 추론 위험 간에 어떤 공식적 관계가 존재하는가—한 가지 위험에 대한 보안 보장이 다른 위험에 대한 보안을 암시하는가?
• RQ3 어떤 경우에 한 개인정보 위험이 다른 위험으로 감소 가능한가, 또는 서로 본질적으로 독립적인가를 공식적으로 증명할 수 있는가?
• RQ4 게임 기반 추론을 얼마나 활용하여 복잡한 공격 시나리오를 분해하고 분석할 수 있는가?
• RQ5 게임 기반 프레임워크는 기계학습 시스템에서 개인정보 특성의 기계화된 증명 및 형식적 검증을 지원할 수 있는가?

주요 결과

• 논문은 다섯 가지 핵심 개인정보 추론 위험 간에 완전한 공식적 감소 및 분리 관계를 수립하여, 멤버십 추론 보안이 속성 및 성격 추론 보안을 암시하지만, 데이터 재구성 보안을 암시하지는 않음을 드러냈다.
• 차별화된 개인정보 보호 구분 가능성은 멤버십 추론보다 엄격히 약한 것으로 증명되었으며, 이는 DP가 멤버십 추론 저항성을 암시하지는 않음을 의미한다.
• 프레임워크는 데이터 재구성이 멤버십 추론보다 엄격히 강력하다는 점을 드러내었으며, 멤버십 추론에 대해 안전한 시스템이 데이터 재구성에 대해 완전히 취약할 수 있음을 보여주었다.
• 사례 연구를 통해 이전에 멤버십 추론의 변종으로 기술된 복잡한 공격 시나리오가 공식적으로 멤버십 및 성격 추론 게임의 조합으로 분해될 수 있음을 보였다.
• 저자들은 게임 기반 추론이 형식적 프로그램 변환을 통해 구조화되고 기계화 가능한 증명을 가능하게 하며, EasyCrypt와 같은 도구와의 호환성을 시사함을 입증했다.
• 연구는 연속 확률 분포(예: DP-SGD에서의 분포)가 기존 기계화 프레임워크에 도전을 안겨주며, 일반적으로 이들이 이산 확률 공간을 가정하기 때문임을 밝혔다.