[논문 리뷰] Toward the Cure of Privacy Policy Reading Phobia: Automated Generation of Privacy Nutrition Labels From Privacy Policies

Shidong Pan, Thong Hoang외 5명|arXiv (Cornell University)|2023. 06. 19.

Privacy, Security, and Data Protection인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델과 구조화된 프ompt를 사용하여 개인정보 정책에서 자동으로 개인정보 영양성분 표를 생성하는 최초의 프레임워크를 제안한다. 첫 번째 당사자 데이터 수집에 대해 F1 점수 0.75를 기록하고, 부족하게 기재된 실천 사항의 90.1%를 탐지하여 '개인정보 정책 읽기 공포'를 극복하고 사용자 투명성을 향상시키는 확장 가능한 솔루션을 제공한다.

ABSTRACT

Software applications have become an omnipresent part of modern society. The consequent privacy policies of these applications play a significant role in informing customers how their personal information is collected, stored, and used. However, customers rarely read and often fail to understand privacy policies because of the ``Privacy Policy Reading Phobia'' (PPRP). To tackle this emerging challenge, we propose the first framework that can automatically generate privacy nutrition labels from privacy policies. Based on our ground truth applications about the Data Safety Report from the Google Play app store, our framework achieves a 0.75 F1-score on generating first-party data collection practices and an average of 0.93 F1-score on general security practices. We also analyse the inconsistencies between ground truth and curated privacy nutrition labels on the market, and our framework can detect 90.1% under-claim issues. Our framework demonstrates decent generalizability across different privacy nutrition label formats, such as Google's Data Safety Report and Apple's App Privacy Details.

연구 동기 및 목표

• 사용자가 길고 복잡한 개인정보 정책을 읽거나 이해하지 못하는 광범위한 '개인정보 정책 읽기 공포'(PPRP) 문제를 해결하기 위해.
• 기존의 개인정보 정책과 Google 플레이 및 애플 앱 스토어와 같은 앱 스토어에서 신규로 의무화된 개인정보 영양성분 표 형식 사이의 격차를 메우기 위해.
• 비정형 개인정보 정책을 구조화되고 사용자 친화적인 개인정보 영양성분 표로 변환하는 자동화된 시스템을 개발하기 위해.
• 데이터 관행에 대한 간결하고 표준화되며 기계로 읽을 수 있는 요약을 가능하게 함으로써 투명성과 사용자 신뢰를 향상시키기 위해.

제안 방법

• 대규모 언어 모델(LLM)을 활용하여 개인정보 정책에서 데이터 수집 및 사용 관행을 추출하고 분류하기 위해.
• 두 단계 프롬프팅 전략 설계: 첫 번째로 원시 데이터 관행을 추출하고, 두 번째로 이를 표준화된 개인정보 레이블 카테고리에 매핑하기 위해.
• 소수 샘플 프롬프팅과 사고 체인 추론을 사용하여 미세조정된 LLM을 적용해 분류 정확도를 향상시키기 위해.
• Google의 데이터 안전 보고서와 애플의 앱 개인정보 세부 정보 형식에 부합하는 구조화된 템플릿을 사용하여 레이블 생성하기 위해.
• 기본 사실과 정제된 레이블 간의 일관성 불일치를 탐지하기 위한 일관성 검사 모듈을 구현하여, 특히 부족하게 기재된 사항에 초점을 맞추기 위해.
• 첫 번째 당사자 데이터 수집, 제3자 데이터 공유, 일반 보안 관행에 대해 F1 점수를 사용하여 성능 평가하기 위해.

Figure 1 . The left image is a nutrition facts label format published by the U.S. Food & Drug Administration in 2016 (foo, 2016 ) . The middle and right images are screenshots of privacy nutrition labels from the Google Play app store (goo, 2022 ) and Apple App Store (app, 2022a ) , respectively.

실험 결과

연구 질문

• RQ1 LLM 기반 프레임워크는 비정형 개인정보 정책에서 데이터 수집 관행을 표준화된 개인정보 영양성분 표로 정확하게 추출하고 구조화할 수 있는가?
• RQ2 Google의 데이터 안전 보고서와 애플의 앱 개인정보 세부 정보와 같은 다양한 개인정보 레이블 형식으로 프레임워크가 얼마나 잘 일반화되는가?
• RQ3 특히 부족하게 기재된 데이터 관행을 탐지하는 데 영향을 미치는 주요 실패 유형은 무엇인가?
• RQ4 하이브리드 프롬프팅과 규칙 기반 구성 요소에 비해 완전히 LLM 기반 설계가 성능을 얼마나 향상시키는가?
• RQ5 기본 사실의 데이터 관행과 정제된 개인정보 레이블에 기재된 사항 간의 일관성 불일치를 식별하는 데 프레임워크가 얼마나 효과적인가?

주요 결과

• 프레임워크는 첫 번째 당사자 데이터 수집 관행 생성에 대해 F1 점수 0.75를 기록하여 核심 작업에서 뛰어난 성능을 보였다.
• 일반 보안 관행에 대해 평균 F1 점수 0.93을 기록하여 이러한 구조화된 필드에 대해 높은 신뢰성을 보였다.
• 기본 사실과 비교했을 때 부족하게 기재된 데이터 관행의 90.1%를 탐지하여 누락 사항을 식별하는 데 뛰어난 효과를 보였다.
• 제3자 데이터 공유에 대해 F1 점수는 0.63으로 낮아, 그룹별 조항의 모호성과 종합형 데이터 유형으로 인한 것이 주요 원인이다.
• 완전히 LLM 기반 설계는 제3자 데이터 공유에 대해 F1 점수를 13.1% 향상시켰지만, 비용은 약 5배 증가했고, 첫 번째 당사자 데이터에는 유의미한 향상이 없었다.
• 프레임워크는 애플의 앱 개인정보 세부 정보에도 상당히 잘 일반화되어 있으며, 모든 카테고리 평균 F1 점수 0.70을 기록했다.

Figure 2 . An overview framework for generating privacy nutrition labels from privacy policies.