[논문 리뷰] On the Privacy Risks of Algorithmic Recourse

Martin Pawelczyk, Himabindu Lakkaraju외 1명|arXiv (Cornell University)|2022. 11. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 알고리즘적 복구를 활용하여 모델의 훈련 데이터에 포함되었는지 여부를 추론하는 반사적 거리 기반 멤버십 유추 공격을 소개한다. 인스턴스와 그에 대응하는 반사적 인스턴스 간의 거리를 분석함으로써, 저자들은 고차원 데이터에서 특히 뚜렷한 개인정보 유출을 입증한다—기존의 손실 기반 공격보다 뛰어난 성능을 보이며, 복구 구현 시 이전에 탐지되지 않은 심각한 위험을 드러낸다.

ABSTRACT

As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.

연구 동기 및 목표

• 알고리즘적 복구 방법이 훈련 데이터에 대한 비밀 정보를 부작동적으로 泄露하는지 조사하기 위해.
• 반사적 거리에 기반한 새로운 멤버십 유추 공격의 클래스를 식별하고 수식화하기 위해.
• 다양한 실제 및 합성 데이터셋에서 이러한 공격의 효과를 평가하기 위해.
• 이러한 개인정보 유출이 가장 심각한 조건을 이해하기 위해.
• 실제 머신러닝 배포 환경에서 개인정보 보호를 고려한 복구 생성의 긴급한 필요성을 강조하기 위해.

제안 방법

• 입력 인스턴스와 그에 대응하는 알고리즘적 반사적 인스턴스 간의 거리를 활용하는 일반적인 멤버십 유추 공격 클래스인 반사적 거리 기반 공격을 제안한다.
• 두 가지 구체적 공격을 도입한다: 임계값 기반 방법과 반사적 거리를 입력으로 사용하는 가능도 비율 검정(Likelihood Ratio Test, LRT).
• 실제 세계의 사용자 접근 방식을 모방하기 위해, 적대자는 각 인스턴스당 한 번의 구독만 가능하다는 현실적인 가정을 둔다.
• 데이터셋과 모델 유형 간의 공격 성능 평가를 위해 로그 스케일 ROC 곡선과 거리 분포 비교를 활용한다.
• 통제된 차원성과 모델 용량을 가진 합성 데이터와 금융, 헬스케어, 법적 분야의 실제 데이터셋을 사용하여 공격를 검증한다.
• 모델 기울기와 레이블에 전체 액세스 권한이 있는 손실 기반 멤버십 유추 공격과 비교하여 공격 성능을 평가한다.

실험 결과

연구 질문

• RQ1 적대자는 알고리즘적 복구를 활용하여 주어진 데이터 인스턴스가 모델의 훈련 데이터에 포함되었는지 여부를 판단할 수 있는가?
• RQ2 인스턴스와 그 반사적 인스턴스 간의 거리가 훈련 세트에 속해 있는지 여부에 대한 정보를 어떻게 드러내는가?
• RQ3 특정 데이터 및 모델 조건(예: 고차원성, 모델 과적합)에서 이러한 개인정보 유출이 가장 두드러지는가?
• RQ4 복구 기반 공격의 성능은 최신 손실 기반 멤버십 유추 공격보다 어떻게 비교되는가?
• RQ5 모델 용량이나 특징 차원성이 복구를 통한 개인정보 유출 위험을 얼마나 증폭시키는가?

주요 결과

• 제안된 반사적 거리 기반 공격는, 후자의 공격가가 전체 모델 기울기와 레이블에 액세스할 수 있는 경우조차도 고차원 데이터에서 기존의 손실 기반 멤버십 유추 공격보다 뚜렷이 뛰어난 성능을 보인다.
• 특징 차원성이 증가할수록 공격 성능이 향상되며, 이는 고차원 합성 데이터에서 훈련 및 테스트 인스턴스의 거리 분포가 갈리기 때문이다.
• 저차원에서 중간 수준의 차원성(d < 50)을 가진 실제 테이블 기반 데이터셋에서는 공격 성능가 중간 정도에 머무르며, 이는 차원성이 유출 심각도의 핵심 요소임을 시사한다.
• 비선형 모델인 딥 네트워크의 경우, 모델 용량이 증가할수록 공격 성공률이 증가하며, 특히 고차원 특징과 병행될 경우 CFD LRT가 손실 기반 LRT보다도 뛰어난 성능을 보인다.
• 모델이 훈련 데이터에 과적합할 경우 공격이 가장 효과적이며, 이는 과적합이 복구를 통한 개인정보 유출을 악화시킨다는 것을 확인한다.
• 실험 결과, CFD LRT는 고차원 합성 데이터에서 높은 AUC를 기록하며, 반사적 거리 자체가 멤버십 유추에 강력한 신호가 될 수 있음을 입증한다.