[논문 리뷰] Can Language Models be Instructed to Protect Personal Information?

Yang Chen, Ethan Mendes외 3명|arXiv (Cornell University)|2023. 10. 03.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 국적 또는 위치와 같은 개인 정보를 보호하는 지시를 따를 수 있는 능력을 평가하기 위해 다중 모odal 벤치마크인 PrivQA를 소개한다. 자체 모니터링 기법을 제안하여 개인정보 준수를 향상시켰지만, 텍스트 및 이미지 입력을 통한 jailbreaking 공격에 여전히 취약함을 발견하여 지시 기반 개인정보 보호 조치의 심각한 강건성 격차를 드러낸다.

ABSTRACT

Large multimodal language models have proven transformative in numerous applications. However, these models have been shown to memorize and leak pre-training data, raising serious user privacy and information security concerns. While data leaks should be prevented, it is also crucial to examine the trade-off between the privacy protection and model utility of proposed approaches. In this paper, we introduce PrivQA -- a multimodal benchmark to assess this privacy/utility trade-off when a model is instructed to protect specific categories of personal information in a simulated scenario. We also propose a technique to iteratively self-moderate responses, which significantly improves privacy. However, through a series of red-teaming experiments, we find that adversaries can also easily circumvent these protections with simple jailbreaking methods through textual and/or image inputs. We believe PrivQA has the potential to support the development of new models with improved privacy protections, as well as the adversarial robustness of these protections. We release the entire PrivQA dataset at https://llm-access-control.github.io/.

연구 동기 및 목표

• 지침 기반 개인정보 보호 조치의 효과성을 평가하기 위해.
• 다중 모odal 환경에서 개인정보 보호와 모델 유틸리티 사이의 트레이드오���을 평가하기 위해.
• 적대적 레드팀 테스트를 통해 액세스 제어 지침의 취약성을 규명하기 위해.
• 개인정보 준수를 향상시키는 자체 모니터링 기법을 개발하고 벤치마크화하기 위해.

제안 방법

• PrivQA는 정의된 액세스 제어 지침 하에 개인정보 보호 능력을 평가하기 위한 텍스트 및 시각적 질의 응답 작업을 포함하는 다중 모달 벤치마크이다.
• 자체 모니터링 기법은 모델이 생성 전에 반복적으로 응답을 평가하고 승인하도록 해, 선택적 보호를 향상시킨다.
• 보호 대상 그룹(예: 이탈리아 시민)과 보호 정보(예: 지리적 위치)는 GDPR 원칙에 기반하여 정의된다.
• 레드팀 실험은 지시를 위반하는 프롬프트와 다단계 공격을 사용하여 적대적 강건성을 테스트한다.
• 벤치마크는 IDEFICS와 같은 모델을 사용하여 이미지 기반 공격 벡터를 평가하기 위한 시각적 QA 작업을 포함한다.
• 결과는 F1 점수와 보호 점수를 사용하여 정확도와 준수 수준을 측정한다.

실험 결과

연구 질문

• RQ1 액세스 제어 지침이 주어졌을 때, 지시 이행 언어 모델은 특정 개인 정보 카테고리를 효과적으로 보호할 수 있는가?
• RQ2 자체 모니터링은 모델의 개인정보 준수 능력을 향상시키지만 유틸리티를 떨어뜨리지 않도록 하는가?
• RQ3 텍스트 또는 이미지 입력을 통한 적대적 jailbreaking 기법은 개인정보 보호 조치에 얼마나 취약한가?
• RQ4 다른 모델 아키텍처(예: GPT-4 대비 LLaMA)는 동일한 지침 하에서 개인정보 준수 능력에서 어떻게 비교되는가?
• RQ5 액세스 제어 지침 하에서 잘 알려지지 않았거나 더 개인적인 개인을 보호할 경우 모델 성능은 떨어지는가?

주요 결과

• GPT-4는 자체 모니터링을 사용하여 보호 정보에서 보호 점수 91.5를 기록했으며, 베이스라인 GPT-3.5-turbo(48.5)와 LLaMA-70B(73.2)를 크게 앞서나갔다.
• 자체 모니터링은 GPT-4에서 보호 정보(예: 위치)의 泄露를 100%에서 0.0%로 감소시켜 강력한 개인정보 보호 성과를 나타냈다.
• 개선에도 불구하고, 모델는 잘 알려지지 않은 개인에 대해 보호 수준을 낮추는 경향을 보여, 개인정보 보호 이행에 편향이 있음을 드러냈다.
• 간단한 텍스트 프롬프트를 사용해 100%의 경우에서 jailbreaking 공격이 보호 조치를 우회하는 데 성공하여 높은 취약성을 입증했다.
• IDEFICS 모델에 대한 이미지 입력을 통해 액세스 제어 지침을 효과적으로 우회할 수 있었으며, 이는 시각적 입력이 새로운 공격 벡터임을 입증했다.
• 자체 모니터링 기법은 여러 단계에 걸쳐 민감도는 증가하고 특이도는 감소시켰으며, 성능은 모델 아키텍처에 따라 달라졌다.