[논문 리뷰] Are Chatbots Ready for Privacy-Sensitive Applications? An Investigation into Input Regurgitation and Prompt-Induced Sanitization

Aman Priyanshu, Supriti Vijay외 3명|arXiv (Cornell University)|2023. 05. 24.

Privacy, Security, and Data Protection인용 수 11

한 줄 요약

이 논문은 ChatGPT가 PII/PHI를 암기하고 토해낼 수 있음을 보여주지만, 프롬프트로 유도된 위생화가 누출을 상당히 줄이고 HIPAA 및 GDPR 준수를 개선하며, 하위 그룹 간 편향 및 추가 연구를 위한 개방 데이터셋이 있다.

ABSTRACT

LLM-powered chatbots are becoming widely adopted in applications such as healthcare, personal assistants, industry hiring decisions, etc. In many of these cases, chatbots are fed sensitive, personal information in their prompts, as samples for in-context learning, retrieved records from a database, or as part of the conversation. The information provided in the prompt could directly appear in the output, which might have privacy ramifications if there is sensitive information there. As such, in this paper, we aim to understand the input copying and regurgitation capabilities of these models during inference and how they can be directly instructed to limit this copying by complying with regulations such as HIPAA and GDPR, based on their internal knowledge of them. More specifically, we find that when ChatGPT is prompted to summarize cover letters of a 100 candidates, it would retain personally identifiable information (PII) verbatim in 57.4% of cases, and we find this retention to be non-uniform between different subgroups of people, based on attributes such as gender identity. We then probe ChatGPT's perception of privacy-related policies and privatization mechanisms by directly instructing it to provide compliant outputs and observe a significant omission of PII from output.

연구 동기 및 목표

• 프롬프트 및 이전 상호작용에서 Personal Identifiable Information (PII)을 모델이 복사하는지 평가합니다.
• 개인정보 규정 준수를 준수하라는 직접 지시가 출력물에 어떤 영향을 미치는지 평가합니다(프롬프트에 의한 위생화).
• 두 가지 도메인 사례 연구(PII가 포함된 이력서 커버레터와 PHI가 포함된 의료 메모)를 통해 누출과 유용성의 균형을 정량화합니다.
• 누출 및 위생화 효능의 하위 집단 변이(예: 성별 정체성) 분석합니다.
• 추가 연구를 가능하게 하는 PII/PHI가 포함된 샘플의 오픈 소스 데이터셋을 제공합니다.

제안 방법

• PII를 포함한 이력서 커버레터와 의료 메모의 PHI를 다루는 두 가지 사례 연구를 수행합니다.
• HIPAA 및 GDPR 준수를 유도하도록 프롬프트를 설계하고, k-익명성 기반 위생화 프롬프트를 포함합니다.
• MIMIC-III 확장을 통한 HIPAA/PHI가 포함된 의료 메모와 PII가 포함된 커버레터의 합성 데이터셋을 사용합니다.
• 프라이버시 누출 및 유용성 지표(불리언 프라이버시 누출, 자로 거리, BLEU, 연령 일치)를 사용한 정량적 평가를 수행합니다.
• 누출에 대한 속성 상관관계(성별, 생년월일, 대학) 및 이들이 누출에 미치는 영향을 분석합니다.

Figure 1: Our experimental setup and methodology, where we first quantify ChatGPT’s capability to copy and retain personally identifiable information (left). Then, we instruct ChatGPT to sanitize its output using k-anonymity, and to abide by privacy policies (HIPAA).

실험 결과

연구 질문

• RQ1 모델이 프롬프트 또는 이전 대화에서 PII/PHI를 얼마나 복사합니까?
• RQ2 명시적 개인정보 보호 준수 프롬프트가 PII/PHI 누출을 줄일 수 있나요, 얼마나 줄일 수 있나요?
• RQ3 누출은 민감 속성(예: 성별, DoB, 대학) 및 도메인(의료 vs. 채용)에 따라 어떻게 달라지나요?
• RQ4 위생화가 다운스트림 작업의 출력 유용성에 미치는 영향은 무엇인가요?

주요 결과

• ChatGPT는 기준선에서 PII를 57.4%의 비율로 복사합니다; 이 수치는 준수 프롬프트로 30.5%로 감소하고, 준수 프롬프트에 명시적 스크럽 지침을 추가하면 15.2%로 감소합니다.
• 프롬프트로 유도된 위생화가 의료 데이터세트에서 PHI 누출을 기준선의 26.4%로 줄이며 누출을 56% 감소시킵니다.
• 채용 데이터에서 프롬프트 기반 위생화는 기준선 대비 PII 누출을 약 30.2% 감소시킵니다.
• 누출 및 위생화 결과는 하위 그룹 간에 균일하지 않으며, 비바이너리 개인의 PII 복사량이 특히 더 낮습니다.
• 프롬프트는 이름을 Patient-1 S. 또는 Unknown과 같은 식별자로 대체하는 등 익명화된 출력을 생성하며, 경우에 따라 완전한 모자이크 처리도 수행합니다.
• 유용성 분석은 비민감 속성은 보존되고, 프롬프트 간 민감 속성의 보존은 다릅니다.

Figure 2: This image showcases the utility analysis of skills and hireability of role in the hiring dataset (left) & of symptoms and diagnosis for the medical dataset (right).