[논문 리뷰] Membership Inference Attacks Against Recommender Systems

Minxing Zhang, Zhaochun Ren외 5명|arXiv (Cornell University)|2021. 09. 16.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 8

한 줄 요약

이 논문은 추천 시스템에 대한 첫 번째 멤버십 추론 공격 프레임워크를 제안하며, 데이터 샘플 수준이 아닌 사용자 수준의 멤버십을 대상으로 한다. 사용자 상호작용 패턴과 샤페론 추천 시스템을 활용한 새로운 방법을 제안하여 실제 데이터셋에서 높은 AUC(최대 0.873)를 달성하였고, 효과적인 방어 수단으로 인기도 랜덤화(Popularity Randomization)를 도입한다.

ABSTRACT

Recently, recommender systems have achieved promising performances and become one of the most widely used web applications. However, recommender systems are often trained on highly sensitive user data, thus potential data leakage from recommender systems may lead to severe privacy problems. In this paper, we make the first attempt on quantifying the privacy leakage of recommender systems through the lens of membership inference. In contrast with traditional membership inference against machine learning classifiers, our attack faces two main differences. First, our attack is on the user-level but not on the data sample-level. Second, the adversary can only observe the ordered recommended items from a recommender system instead of prediction results in the form of posterior probabilities. To address the above challenges, we propose a novel method by representing users from relevant items. Moreover, a shadow recommender is established to derive the labeled training data for training the attack model. Extensive experimental results show that our attack framework achieves a strong performance. In addition, we design a defense mechanism to effectively mitigate the membership inference threat of recommender systems.

연구 동기 및 목표

• 사용자 수준의 멤버십 추론 공격를 통해 추천 시스템의 프라이버시 누출을 정량화하는 것.
• 제한된 공격자 접근성 문제 해결 — 후행 확률 없이 순서가 지정된 추천 목록만 관찰 가능하다는 조건.
• 타겟 추천 시스템의 훈련에 사용된 사용자 데이터가 포함되었는지 여부를 추론하는 방법 개발.
• 멤버십 추론 위협을 효과적으로 완화할 수 있는 방어 메커니즘 설계.
• 데이터셋의 조밀도, 추천 알고리즘의 복잡도, 특징 분포 유사성 등이 공격 성능에 미치는 영향 평가.

제안 방법

• 관찰된 추천 목록에서 유저 상호작용 패턴을 활용해 사용자 수준의 특징 벡터를 구성.
• 타겟 시스템과 동일한 알고리즘과 데이터 분포를 사용해 샤페론 추천 시스템을 훈련하여 공격 모델의 레이블링된 학습 데이터를 생성.
• 샤페론 시스템의 출력을 활용해 훈련 데이터에 포함되었는지 여부(소속 여부)를 시뮬레이션하여 멤버십 추론 모델을 구축.
• 추천 목록의 순서 정보를 활용하도록 공격 모델을 설계하여 추론에 핵심적인 선호도 패턴을 포착.
• 인기도 랜덤화(Popularity Randomization)를 방어 수단으로 도입: 훈련 중 아이템의 인기도 점수를 왜곡하여 멤버십 신호를 은폐.
• 샤페론 시스템 출력에서 파생된 특징 벡터를 사용해 공격 모델을 훈련하여, 미리 보지 않은 타겟 시스템으로의 일반화 가능성을 확보.

실험 결과

연구 질문

• RQ1 순서가 지정된 추천 목록만 노출된 경우, 추천 시스템에 대해 효과적인 멤버십 추론 공격를 수행할 수 있는가?
• RQ2 사용자 수준의 멤버십 추론 공격는 기존의 샘플 수준 공격와 비교해 타당성과 영향력 측면에서 어떻게 다를까?
• RQ3 샤페론과 타겟 추천 시스템 간의 분포 유사성이 공격 성공에 어떤 역할을 하는가?
• RQ4 데이터셋의 조밀도와 추천 알고리즘의 복잡도는 멤버십 추론 공격의 효과성에 어떤 영향을 미치는가?
• RQ5 인기도 랜덤화는 추천 품질을 떨어뜨리지 않으면서도 멤버십 추론 공격를 효과적으로 완화할 수 있는가?

주요 결과

• 제안된 공격는 ml-1m 데이터셋에서 평균 AUC 0.873을 달성하여 현실적인 블랙박스 조건에서도 뛰어난 성능을 보였다.
• ml-1m와 같이 조밀한 사용자-아이템 행렬을 가진 데이터셋에서 공격 성능이 가장 높았는데, 이는 특징 학습에 유리한 풍부한 상호작용 신호 덕분이었다.
• 아이템 기반 협업 필터링과 같은 간단한 추천 알고리즘은 멤버십 추론에 더 취약했으며, 방어 조치가 적용된 상황에서도 높은 공격 성공률 기록.
• 공격 성능는 샤페론과 타겟 추천 시스템의 특징 분포 유사성에 크게 의존하였다.
• 인기도 랜덤화 방어는 공격 성공률를 크게 감소시켜 다양한 데이터셋과 알고리즘에서 강력한 억제 잠재력을 보였다.
• 공격는 다양한 추천 알고리즘과 데이터셋으로 일반화가 잘 되었으며, 제안된 프레임워크의 광범위한 적용 가능성과 강건성을 시사한다.