[논문 리뷰] Quantifying Privacy Risks of Prompts in Visual Prompt Learning

Yixin Wu, Rui Wen외 5명|arXiv (Cornell University)|2023. 10. 18.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 프롬프트 학습에서 시각적 프롬프트의 개인정보 위험 평가를 처음으로 수행하며, 프롬프트가 소유성 추론 공격과 멤버십 추론 공격 양쪽 모두에 취약하다는 것을 입증한다. 파arameter 수가 감소함에도 불구하고, 프롬프트는 학습 데이터에 대한 민감한 정보를 泄露하며, 느슨한 가정 조건 하에서도 성공적인 공격가능성이 있음을 시사하여, 프롬프트 as a 서비스 배포 환경에서의 심각한 개인정보 위험을 드러낸다.

ABSTRACT

Large-scale pre-trained models are increasingly adapted to downstream tasks through a new paradigm called prompt learning. In contrast to fine-tuning, prompt learning does not update the pre-trained model's parameters. Instead, it only learns an input perturbation, namely prompt, to be added to the downstream task data for predictions. Given the fast development of prompt learning, a well-generalized prompt inevitably becomes a valuable asset as significant effort and proprietary data are used to create it. This naturally raises the question of whether a prompt may leak the proprietary information of its training data. In this paper, we perform the first comprehensive privacy assessment of prompts learned by visual prompt learning through the lens of property inference and membership inference attacks. Our empirical evaluation shows that the prompts are vulnerable to both attacks. We also demonstrate that the adversary can mount a successful property inference attack with limited cost. Moreover, we show that membership inference attacks against prompts can be successful with relaxed adversarial assumptions. We further make some initial investigations on the defenses and observe that our method can mitigate the membership inference attacks with a decent utility-defense trade-off but fails to defend against property inference attacks. We hope our results can shed light on the privacy risks of the popular prompt learning paradigm. To facilitate the research in this direction, we will share our code and models with the community.

연구 동기 및 목표

• 프롬프트 학습에서 시각적 프롬프트가 학습 데이터로부터 기밀 정보를 泄露하는지 여부를 조사하기 위해.
• 프롬프트를 새로운 개인정보 위협 표면으로 삼아 소유성 추론 및 멤버십 추론 공격의 실현 가능성을 평가하기 위해.
• 기존의 공격 방법을 프롬프트의 입력 수준 개인정보 위험에 맞게 적응하여 평가하기 위해, 모델 수준의 취약성과는 다릅니다.
• 특히 노이즈 기반 완화 전략을 포함한 초기 방어 전략을 탐색하기 위해.

제안 방법

• 그림자 프롬프트를 기반으로 훈련된 메타 분류기(메타-클래스파이어)를 사용하여, 기존의 소유성 추론 공격 방법을 적응하여 프롬프트 학습 데이터의 민감한 속성을 추론하기 위해 사용하였다.
• 멤버십 추론 공격(신경망 기반, 메트릭 기반, 기울기 기반)을 적용하여 주어진 이미지가 프롬프트의 학습 데이터에 포함되었는지 여부를 판단하였다.
• 타겟 프롬프트와 동일한 데이터 분포를 사용하여 여러 그림자 프롬프트를 훈련시어 공격 모델을 구축하였다.
• 프롬프트에 가우시안 노이즈를 추가하여 방어 기법을 평가하고, 유틸리티와 공격 성공률을 측정하였다.
• 공격 및 방어 성능 평가를 위해 실제 환경에서의 설정을 고려하여 표준 시각 기준 벤치마크(예: CUB-200-2011, Cifar-10)를 사용하였다.
• 재현 가능성과 프롬프트 개인정보 분야의 향후 연구를 가능하게 하기 위해 코드와 모델을 공유했다.

Figure 1 : Overview of prompt usage and inference attacks. The prompt is a pixel patch. The prompted image is an original image with an added prompt. Property inference infers sensitive properties of the target prompt’s training dataset that the PaaS provider does not intend to disclose. Membership

실험 결과

연구 질문

• RQ1 어느 정도의 수준에서 악성 공격자는 시각적 프롬프트를 생성하는 데 사용된 학습 데이터의 민감한 속성을 추론할 수 있는가?
• RQ2 특정 이미지가 프롬프트의 학습 데이터 세트에 포함되었는지 여부를 멤버십 추론 공격으로 확인할 수 있는가?
• RQ3 낮은 파라미터 수와 입력 수준의 특성 덕분에, 기존의 개인정보 공격이 프롬프트에 적용되었을 때 얼마나 효과적인가?
• RQ4 노이즈 기반 방어 전략은 프롬프트 유틸리티를 유지하면서 멤버십 추론 공격을 완화하는 데 효과적인가?
• RQ5 현재의 방어 전략은 왜 프롬프트 학습 환경에서 소유성 추론 공격을 방어하지 못하는가?

주요 결과

• 시각적 프롬프트는 소유성 추론 공격에 취약하며, 몇 개의 그림자 프롬프트만으로도 학습 데이터 세트의 민감한 속성을 성공적으로 추론할 수 있다.
• 멤버십 추론 공격은 학습 데이터 분포에 대한 액세스가 제한된 경우와 같은 느슨한 악성 공격자 가정 조건 하에서도 효과적이다.
• 프롬프트에 가우시안 노이즈를 추가하면 방어 효과와 모델 유틸리티 사이의 합리적인 트레이드오프를 유지하면서 멤버십 추론 공격을 완화할 수 있다.
• DP-SGD는 소유성 추론 공격에 대한 보호는 충분히 제공하지 못하면서도 프롬프트 유틸리티를 유지하지 못한다.
• 제안된 방어 전략은 소유성 추론 공격에 일반화되지 않으며, 입력 수준 개인정보 위험에 대한 현재 방어 접근법의 심각한 격차를 시사한다.
• 결과적으로, 프롬프트 학습이 효율성을 제공하지만, 기존의 방어 조치로는 충분히 보완되지 않는 새로운 입력 수준 개인정보 위험을 초래한다는 점이 입증되었다.

Figure 2 : Overview of visual prompt learning (VPL). We learn an input prompt via back-propagation [ 4 ] at the input transformation stage. We apply hard-coded mapping [ 13 ] to map the pre-trained model’s outputs into the target labels at the output transformation stage.