[논문 리뷰] Protecting User Privacy in Remote Conversational Systems: A Privacy-Preserving framework based on text sanitization

Zhigang Kan, Linbo Qiao외 4명|arXiv (Cornell University)|2023. 06. 14.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 원격 대화형 AI 시스템에서 사용자 데이터를 보호하기 위해 사용자가 정의한 개인정보 유형 기반으로 다중 라운드 텍스트 정제를 적용하여 대규모 언어 모델에 입력을 전송하기 전에 민감 정보를 필터링하는 프라이버시 보장 프레임워크 PP-TS를 제안한다. 이 프레임워크는 데이터 유용성에 미치는 영향을 최소화하면서도 높은 프라이버시 보호 성능(95.96% PRR)을 달성하며, 이성성 검사 메커니즘이 논리적 추론 공격에 대한 저항력을 향상시킨다.

ABSTRACT

Large Language Models (LLMs) are gaining increasing attention due to their exceptional performance across numerous tasks. As a result, the general public utilize them as an influential tool for boosting their productivity while natural language processing researchers endeavor to employ them in solving existing or new research problems. Unfortunately, individuals can only access such powerful AIs through APIs, which ultimately leads to the transmission of raw data to the models' providers and increases the possibility of privacy data leakage. Current privacy-preserving methods for cloud-deployed language models aim to protect privacy information in the pre-training dataset or during the model training phase. However, they do not meet the specific challenges presented by the remote access approach of new large-scale language models. This paper introduces a novel task, "User Privacy Protection for Dialogue Models," which aims to safeguard sensitive user information from any possible disclosure while conversing with chatbots. We also present an evaluation scheme for this task, which covers evaluation metrics for privacy protection, data availability, and resistance to simulation attacks. Moreover, we propose the first framework for this task, namely privacy protection through text sanitization. Before sending the input to remote large models, it filters out the sensitive information, using several rounds of text sanitization based on privacy types that users define. Upon receiving responses from the larger model, our framework automatically restores privacy to ensure that the conversation goes smoothly, without intervention from the privacy filter. Experiments based on real-world datasets demonstrate the efficacy of our privacy-preserving approach against eavesdropping from potential attackers.

연구 동기 및 목표

• API를 통해 원격 대규모 언어 모델과 상호작용할 때 증가하는 프라이버시 泄露 위험을 해결한다.
• 원격 모델 접근 환경에서 비정형적이고 자연어 형태의 입력을 보호하는 데 있어 고유한 과제를 규명한다.
• 프라이버시 보호, 데이터 가용성, 시뮬레이션 공격에 대한 저항력을 포함하는 종합적인 평가 체계를 개발한다.
• 사용자 입력을 정제하고 모델 응답에서 자동으로 프라이버시를 복원하여 대화 흐름을 유지하는 혁신적인 프레임워크를 제안한다.

제안 방법

• 원격 모델 호출 이전에 사용자가 정의한 개인정보 유형 기반으로 다중 라운드 텍스트 정제를 적용하여 입력 텍스트에서 민감 정보를 필터링한다.
• 문맥 내 학습을 활용해 프로시저적으로 개인정보 정보를 탐지하고 제거함으로써 정확한 일치 검사 이상의 탐지 능력을 향상시킨다.
• 정제된 텍스트의 의미적 모순을 줄이고 추론 공격을 방지하기 위해 이성성 검사 메커니즘을 통합한다.
• 역정제 프로세스를 사용해 모델 응답에서 자동으로 프라이버시를 복원함으로써 대화의 일관성을 유지한다.
• 세 부분으로 구성된 평가 체계를 활용: 프라이버시 제거 비율(PRR), 데이터 유용성 비율(DUR), 그리고 정확한 및 논리적 추론 공격에 대한 저항성.
• 사용자 입력 정제 후 이벤트 추출 성능 평가를 위해 정밀도, 재현율, F1 점수 지표를 활용한다.

실험 결과

연구 질문

• RQ1 제안된 프레임워크는 정확한 일치 공격과 논리적 추론 기반 시뮬레이션 공격 모두에 대해 얼마나 효과적으로 프라이버시를 보호하는가?
• RQ2 텍스트 정제 과정이 사용자 입력 및 모델 응답의 데이터 유용성과 의미적 일관성에 어느 정도 영향을 미치는가?
• RQ3 이성성 검사 메커니즘이 추론 공격에 대한 저항력을 향상시키는 데 어떤 역할을 하는가?
• RQ4 프라이버시 필터링 과정에서 수동 조작 없이도 대화 흐름을 어떻게 유지하는가?
• RQ5 이벤트 추출과 같은 후행 작업 성능를 고려할 때, 프라이버시 보호와의 상호 교환 관계는 어떠한가?

주요 결과

• PP-TS 프레임워크는 입력 텍스트에서 지정된 개인정보 유형을 거의 완전히 제거함을 보여주는 95.96%의 프라이버시 제거 비율(PRR)을 달성한다.
• 데이터 유용성 비율(DUR)은 92.33%에 도달하여 정제 후에도 입력 데이터의 유용성이 강력하게 유지됨을 입증한다.
• 이성성 검사 메커니즘을 제거할 경우 DUR가 81.67%로 감소함으로써, 의미적 일관성 유지 및 추론 공격 저항에 있어 이 메커니즘이 핵심적인 역할을 한다는 점을 확인한다.
• 프레임워크는 이벤트 추출 작업에서 높은 성능을 유지하며, 트리거에 대해 F1 점수 48.91, 어휘에 대해 21.00을 기록하여 원래 성능에 비해 최소한의 저하가 발생함을 보여준다.
• 사람이 주도하는 공격보다 프로시저적 공격에 대해 더 효과적으로 저항하는 것으로 나타나, 기존 기준 대비 우수한 성능을 발휘한다.
• 이성성 검사 메커니즘의 포함으로 트리거에 대해 F1 점수 1.71점, 어휘에 대해 1.98점 향상됨을 확인하여 후행 작업에서 명백한 성능 향상이 있음을 시사한다.