[논문 리뷰] Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture

Xinyu Tang, Saeed Mahloujifar외 5명|arXiv (Cornell University)|2021. 10. 15.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 22

한 줄 요약

이 논문은 멤버십 개인정보를 향상시키기 위해 Split-AI 앙상블 아키텍처와 자기 정규화를 조합한 새로운 방어 프레임워크인 SELENA를 제안한다. 랜덤 데이터 부분집합에 대해 하위모델을 훈련하고, 훈련에 사용되지 않은 모델의 예측을 적응적으로 통합함으로써 SELENA는 MemGuard 대비 최대 3.7배, 적대적 정규화 대비 최대 2.1배의 멤버십 추론 공격 성공률 감소를 달성하며, 벤치마크 데이터셋에서 기준 모델 대비 정확도 저하가 3.9% 이내로 유지된다.

ABSTRACT

Membership inference attacks are a key measure to evaluate privacy leakage in machine learning (ML) models. These attacks aim to distinguish training members from non-members by exploiting differential behavior of the models on member and non-member inputs. The goal of this work is to train ML models that have high membership privacy while largely preserving their utility; we therefore aim for an empirical membership privacy guarantee as opposed to the provable privacy guarantees provided by techniques like differential privacy, as such techniques are shown to deteriorate model utility. Specifically, we propose a new framework to train privacy-preserving models that induces similar behavior on member and non-member inputs to mitigate membership inference attacks. Our framework, called SELENA, has two major components. The first component and the core of our defense is a novel ensemble architecture for training. This architecture, which we call Split-AI, splits the training data into random subsets, and trains a model on each subset of the data. We use an adaptive inference strategy at test time: our ensemble architecture aggregates the outputs of only those models that did not contain the input sample in their training data. We prove that our Split-AI architecture defends against a large family of membership inference attacks, however, it is susceptible to new adaptive attacks. Therefore, we use a second component in our framework called Self-Distillation to protect against such stronger attacks. The Self-Distillation component (self-)distills the training dataset through our Split-AI ensemble, without using any external public datasets. Through extensive experiments on major benchmark datasets we show that SELENA presents a superior trade-off between membership privacy and utility compared to the state of the art.

연구 동기 및 목표

• 모델 유용성을 유지하면서 개인정보 泄露를 크게 줄이는 경험적 멤버십 추론 방어 기법을 개발한다.
• 엄밀한 프라이버시 보장을 제공하지만 모델 유용성을 떨어뜨리는 차별적 프라이버시의 한계를 해결한다.
• 블랙박스 환경에서 직접 단일 쿼리 및 적응형 다중 쿼리 멤버십 추론 공격을 모두 방어한다.
• 외부 공개 데이터셋에 의존하지 않아 실세계 구현에 실용적인 방어 기법을 설계한다.
• 기존 최첨단 경험적 방어 기법들보다 멤버십 프라이버시와 모델 유용성 간의 더 나은 트레이드오프를 달성한다.

제안 방법

• Split-AI: 훈련 데이터를 K개의 랜덤 부분집합으로 분할하고, 각 하위모델을 별도의 부분집합에서 훈련한다.
• 적응형 추론: 테스트 시점에 입력 샘플이 훈련 데이터에 포함되지 않은 하위모델의 예측만을 통합한다.
• 자기 정규화: 외부 데이터셋을 사용하지 않고 Split-AI 앙상블을 통해 훈련 데이터를 정규화하여 적응형 공격에 대한 강건성을 향상시킨다.
• 앙상블 아키텍처는 멤버와 비멤버에 대해 유사한 모델 행동을 보장하여 예측의 가시성 차이를 줄인다.
• 방어 기법은 훈련 기간 동안 종단 간(end-to-end)으로 적용되며, 표준 앙상블 추론 외에 추가적인 추론 비용이 발생하지 않는다.
• 다양한 공격 변종(예: 레이블 전용 공격 및 적응형 공격)을 사용하여 방어의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 하위모델이 훈련 데이터를 포함하지 않는 앙상블 아키텍처가 멤버십 추론 공격에 대해 방어에 효과적인가?
• RQ2 자기 정규화가 적응형 멤버십 추론 공격에 대한 방어를 강화하는 데 얼마나 효과적인가?
• RQ3 기존 최첨단 경험적 방어 기법들과 비교해 멤버십 프라이버시와 모델 유용성 간의 트레이드오프는 어떠한가?
• RQ4 공개 데이터셋이나 차별적 프라이버시 기법에 의존하지 않고도 방어가 효과적인가?
• RQ5 Split-AI의 적응형 추론 전략이 단일 쿼리 및 다중 쿼리 공격에 대한 강건성에 미치는 영향은 어떠한가?

주요 결과

• SELENA는 MemGuard 대비 최대 3.7배, 적대적 정규화 대비 최대 2.1배 멤버십 추론 공격의 이점을 랜덤 추측 대비 감소시킨다.
• 벤치마크 데이터셋에서 기준 모델 대비 분류 정확도 저하가 3.9% 이내로 유지된다.
• Split-AI는 멤버와 비멤버에 대해 유사한 예측 행동을 보장함으로써 직접 단일 쿼리 멤버십 추론 공격에 효과적으로 대응한다.
• 자기 정규화는 외부 데이터가 필요 없이도 레이블 전용 및 다중 쿼리 공격을 포함한 더 강력한 적응형 공격에 대한 저항력을 향상시킨다.
• SELENA는 CIFAR-10, SVHN, ImageNet에서 기존 경험적 방어 기법들보다 프라이버시 보호 및 모델 유용성 측면에서 뛰어난 성능을 달성하며, 더 나은 트레이드오프를 확보한다.
• SELENA는 블랙박스, 레이블 전용, 적응형 멤버십 추론 공격 등 다양한 공격 시나리오에 대해 강건한 성능을 보인다.