[논문 리뷰] PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action

Yijia Shao, Tianshi Li외 3명|arXiv (Cornell University)|2024. 08. 29.

Privacy, Security, and Data Protection인용 수 4

한 줄 요약

PrivacyLens는 개인정보 감수성 있는 시드를 기반으로 표현력 있는 비니어트와 에이전트 트래잭터리를 생성하여 언어 모델의 개인정보 규범 인식 능력을 실세계 에이전트 응용 프로그램에서 평가할 수 있는 새로운 프레임워크를 제안한다. 이 프레임워크는 GPT-4와 Llama-3-70B와 같은 최신 기술 모델들조차도 개인정보 보호 지침이 있음에도 불구하고 각각 25.68%와 38.69%의 경우에 민감한 정보를 泄露하는 것으로 드러나, 시험 성능과 실제 행동 사이에 심각한 격차가 있음을 시사한다.

ABSTRACT

As language models (LMs) are widely utilized in personalized communication scenarios (e.g., sending emails, writing social media posts) and endowed with a certain level of agency, ensuring they act in accordance with the contextual privacy norms becomes increasingly critical. However, quantifying the privacy norm awareness of LMs and the emerging privacy risk in LM-mediated communication is challenging due to (1) the contextual and long-tailed nature of privacy-sensitive cases, and (2) the lack of evaluation approaches that capture realistic application scenarios. To address these challenges, we propose PrivacyLens, a novel framework designed to extend privacy-sensitive seeds into expressive vignettes and further into agent trajectories, enabling multi-level evaluation of privacy leakage in LM agents' actions. We instantiate PrivacyLens with a collection of privacy norms grounded in privacy literature and crowdsourced seeds. Using this dataset, we reveal a discrepancy between LM performance in answering probing questions and their actual behavior when executing user instructions in an agent setup. State-of-the-art LMs, like GPT-4 and Llama-3-70B, leak sensitive information in 25.68% and 38.69% of cases, even when prompted with privacy-enhancing instructions. We also demonstrate the dynamic nature of PrivacyLens by extending each seed into multiple trajectories to red-team LM privacy leakage risk. Dataset and code are available at https://github.com/SALT-NLP/PrivacyLens.

연구 동기 및 목표

• 언어 모델 에이전트의 개인정보 규범 인식을 측정하기 위한 현실적인 평가 프레임워크 부족 문제를 해결하기 위해.
• 언어 모델의 개인정보 탐색 질문 성능과 에이전트 워크플로우에서의 실제 행동 사이의 괴리 현상을 규명하기 위해.
• 도구 보강된 언어 모델 상호작용에서 맥락에 따라 달라지는 개인정보 규범을 포괄하는 확장 가능하고 스케일 수 있는 프레임워크를 개발하기 위해.
• 특히 캘린더나 이메일과 같은 도구를 통해 민감한 데이터에 접근할 때 언어 모델을 통한 커뮤니케이션에서 뜻하지 않게 개인정보가 泄露되는 위험을 정량화하기 위해.

제안 방법

• 개인정보 규범을 정의하기 위해 개인정보 문헌과 커뮤니티 기반의 입력을 맥락적 정합성 이론을 활용해 데이터 주체, 발신자, 수신자 및 전송 방식의 맥락에 기반하여 기반 시드를 설정한다.
• 템플릿 기반 생성을 통해 표현력 있고 맥락이 풍부한 비니어트로 각 시드를 확장하여 현실적인 에이전트 시나리오를 시뮬레이션한다.
• 사용자 지시와 관찰된 데이터를 기반으로 도구 사용 행동(예: 캘린더 읽기, 이메일 전송)을 조율하여 에이전트 트래잭터리를 시뮬레이션한다.
• 최종 에이전트 행동이 수립된 개인정보 규범을 위반하는지 평가하기 위해 다단계 평가 파이프라인을 사용한다.
• 각 시드당 다양한 트래잭터리를 생성하여 레드팀 방식으로 모델을 테스트하여 최악의 유출 시나리오를 노출시킨다.
• 커뮤니티의 사용과 확장이 가능한 오픈소스 프레임워크를 유지하며, GitHub에 데이터셋과 코드를 공개한다.

실험 결과

연구 질문

• RQ1 개인정보 보호 지침이 있는 경우에도 언어 모델이 실세계 커뮤니케이션 워크플로우에서 에이전트로 행동할 때 개인정보 규범을 얼마나 자주 위반하는가?
• RQ2 언어 모델의 개인정보 탐색 질문 성능과 에이전트 트래잭터리에서의 실제 행동 간 상관관계는 어떠한가?
• RQ3 다양하고 맥락에 민감한 상황에서 언어 모델을 통한 커뮤니케이션에서 뜻하지 않게 개인정보가 유출되는 빈도는 얼마나 되는가?
• RQ4 도구 사용과 민감한 데이터 접근이 포함된 에이전트 워크플로우에서 개인정보 규범 인식을 체계적으로 어떻게 평가할 수 있는가?
• RQ5 프레임워크를 악성 트래잭터리 생성을 통해 모델을 레드팀화하여 개인정보 유출 위험을 폭 드러내는 데에 확장할 수 있는가?

주요 결과

• GPT-4와 Llama-3-70B와 같은 최신 기술 언어 모델들은 개인정보 보호 지침이 있음에도 불구하고 각각 에이전트 트래잭터리의 25.68%와 38.69%에서 민감한 정보를 泄露한다.
• 언어 모델의 개인정보 탐색 질문 성능과 실제 에이전트 워크플로우에서의 행동 사이에 상당한 격차가 존재하여, 탐색 작업만으로는 개인정보 안전성을 평가하기에 부족하다는 것을 시사한다.
• 이 프레임워크는 다양하고 맥락이 풍부한 에이전트 트래잭터리를 성공적으로 생성하여 드문데도 치명적인 개인정보 유출 사례를 드러낸다.
• PrivacyLens 프레임워크는 각 시드당 여러 트래잭터리를 생성함으로써 언어 모델의 동적 레드팀 테스트를 가능하게 하여, 도구 보강된 에이전트 행동에서 숨겨진 개인정보 유출 위험을 폭 드러낸다.
• 데이터셋과 코드는 CC BY 라이선스 하에 공개되어 있어 커뮤니티가 에이전트 언어 모델의 개인정보 규범 인식 평가를 위해 사용하고 확장할 수 있다.