[논문 리뷰] PolicyGPT: Automated Analysis of Privacy Policies with Large Language Models

Chenhao Tang, Zhengliang Liu외 9명|arXiv (Cornell University)|2023. 09. 19.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

PolicyGPT는 제로샷 프레임워크에서 대형 언어 모델을 사용하여 개인정보 보호 정책 텍스트를 분류하며, OPP-115(웹 정책)에서 97% 정확도, PPGDPR(모바일 앱 정책)에서 87%를 달성하고, 베이스라인을 능가합니다.

ABSTRACT

Privacy policies serve as the primary conduit through which online service providers inform users about their data collection and usage procedures. However, in a bid to be comprehensive and mitigate legal risks, these policy documents are often quite verbose. In practical use, users tend to click the Agree button directly rather than reading them carefully. This practice exposes users to risks of privacy leakage and legal issues. Recently, the advent of Large Language Models (LLM) such as ChatGPT and GPT-4 has opened new possibilities for text analysis, especially for lengthy documents like privacy policies. In this study, we investigate a privacy policy text analysis framework PolicyGPT based on the LLM. This framework was tested using two datasets. The first dataset comprises of privacy policies from 115 websites, which were meticulously annotated by legal experts, categorizing each segment into one of 10 classes. The second dataset consists of privacy policies from 304 popular mobile applications, with each sentence manually annotated and classified into one of another 10 categories. Under zero-shot learning conditions, PolicyGPT demonstrated robust performance. For the first dataset, it achieved an accuracy rate of 97%, while for the second dataset, it attained an 87% accuracy rate, surpassing that of the baseline machine learning and neural network models.

연구 동기 및 목표

• GDPR 시대에 사용자가 개인정보 보호 정책을 더 쉽게 이해하고 실행 가능하게 만들어야 한다는 필요성에 동기를 부여합니다.
• 정책 텍스트를 분석하고 분류하기 위한 대형 언어 모델 기반 프레임워크(PolicyGPT)를 제안합니다.
• 제로샷 조건에서 두 개의 전문가 주석 데이터셋(OPP-115 및 PPGDPR)에서 PolicyGPT를 평가합니다.
• 세그먼트 수준 분류에서 전통적인 기계 학습 베이스라인 및 신경망 모델과 LLM 성능을 비교합니다.

제안 방법

• LLM에 범주 정의 및 작업 맥락을 인코딩하기 위한 세-세그먼트 접두 프롬프트를 도입합니다.
• 두 단계 프로세스를 채택합니다: (1) 작업 내용 및 범주 정의를 공식화하고; (2) 대상 텍스트와 프롬프트를 LLM(ChatGPT, GPT-4, Claude2)로 제공하여 분류합니다.
• 제로샷 프롬 prompting 사용(A/B 테스트에서 few-shot 프롬프트가 이득이 제한되며 토큰 비용이 더 큼을 보임)을 통해 범주 예측을 얻습니다.
• 웹 크롤링 및 텍스트 추출을 통해 개인정보 보호 정책을 전처리하고, 문장 또는 단락으로 분할하며, 각 데이터셋당 10개 범주 중 하나에 매핑합니다.
• 사람 주석과의 결과를 평가하고, 주요 메트릭으로 정확도를 사용하며 가능하면 매크로- 및 마이크로 평균 성능을 보고합니다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 작업 특화 학습 없이도 개인정보 보호 정책 세그먼트를 미리 정의된 범주로 정확하게 분류할 수 있는가?
• RQ2 제로샷 LLM 성능은 개인정보 보호 정책 분류에서 전통적 베이스라인(SVM, LR, HMM, LSTM, BERT 등)과 어떻게 비교되는가?
• RQ3 데이터셋 유형(웹 기반 OPP-115 대 모바일 앱 기반 PPGDPR)이 분류 성능에 어떤 영향을 미치는가?
• RQ4 이 작업에서 초기 샷 프롬프트가 이점이 있으며, 아니면 LLM의 규모를 감안할 때 제로샷 프롬프팅이면 충분한가?

주요 결과

• 제로샷 PolicyGPT는 개인정보 보호 정책 세그먼트 분류에서 OPP-115에 대해 97% 정확도, PPGDPR에 대해 87% 정확도를 달성합니다.
• PolicyGPT는 해당 데이터셋에서 Polisis 및 기존 ML/DNN 접근법을 포함한 베이스라인 모델을 능가합니다.
• Few-shot 프롬프트는 정확도를 크게 향상시키지 못했고, 더 높은 토큰 비용이 발생하여 제로샷 프롬프트 채택으로 이어졌습니다.
• 프롬프트 설계는 접두 프롬프트와 명시적 범주 설명으로 LLM이 개인정보 범주 및 대상 텍스트에 대한 의미 정보를 흡수하도록 합니다.