[논문 리뷰] Automated Detection of GDPR Disclosure Requirements in Privacy Policies using Deep Active Learning

Tamjid Al Rahat, Tu Le외 1명|arXiv (Cornell University)|2021. 11. 08.

Privacy, Security, and Data Protection참고 문헌 17인용 수 4

한 줄 요약

이 논문은 18개의 GDPR 공개 요구사항을 기반으로 개인정보 정책을 자동으로 분류하기 위해 컨볼루션 신경망(CNN)을 사용하는 딥 러닝 기반의 능동 학습 방법을 제안한다. 새로 제작한 1,080건의 주석이 달린 개인정보 정책 데이터셋으로 훈련된 모델은 89.2%의 정확도를 기록했으며, 2018년부터 시행된 이후에도 전체 웹사이트의 3%만이 GDPR 공개 요구사항을 완전히 이행하고 있음을 드러냈다.

ABSTRACT

Since GDPR came into force in May 2018, companies have worked on their data practices to comply with this privacy law. In particular, since the privacy policy is the essential communication channel for users to understand and control their privacy, many companies updated their privacy policies after GDPR was enforced. However, most privacy policies are verbose, full of jargon, and vaguely describe companies' data practices and users' rights. Therefore, it is unclear if they comply with GDPR. In this paper, we create a privacy policy dataset of 1,080 websites labeled with the 18 GDPR requirements and develop a Convolutional Neural Network (CNN) based model which can classify the privacy policies with an accuracy of 89.2%. We apply our model to perform a measurement on the compliance in the privacy policies. Our results show that even after GDPR went into effect, 97% of websites still fail to comply with at least one requirement of GDPR.

연구 동기 및 목표

• 2018년 GDPR 시행 이후 주요 웹사이트의 개인정보 정책이 GDPR 공개 요구사항을 얼마나 이행하고 있는지 조사하기 위해.
• 개인정보 정책 분석을 위한 GDPR 요구사항으로 레이블링된 공개 가능하고 고품질의 데이터셋이 부족한 문제를 해결하기 위해.
• 개인정보 정책 세그먼트를 특정 GDPR 공개 요구사항 카테고리로 자동 분류할 수 있는 자동화되고 확장 가능한 방법을 개발하기 위해.
• 최소한의 레이블링 노력으로도 성능을 향상시키면서 비용 효율적으로 모델 정확도를 향상시키기 위해 풀 기반 능동 학습을 활용하기 위해.
• 9,761개의 주요 웹사이트를 대상으로 개인정보 정책의 현재 GDPR 준수 상태에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 지리적 다양성과 데이터 일관성을 확보하기 위해 영국 기반의 VPN을 사용하여 9,761개 웹사이트의 개인정보 정책 코퍼스를 구축하였다.
• 법률 전문가의 상담을 통해 18개의 GDPR 공개 요구사항을 도출하고, 이를 18개의 이진 레이블로 사용하여 주석을 부여하였다.
• 훈련된 인간 주석자들을 활용해 1,080건의 개인정보 정책을 주석 처리하여 모델 훈련을 위한 고품질 레이블링 데이터셋을 구축하였다.
• 개인정보 정책 세그먼트를 18개의 GDPR 요구사항 카테고리로 매핑하기 위해 CNN 기반 텍스트 분류 모델을 개발하였다.
• 풀 기반 능동 학습을 적용하여 반복적으로 정보가 풍부한 미주석 데이터 샘플을 선별하고, 최소한의 레이블링 노력으로도 모델 정확도를 향상시켰다.
• 최종 모델을 사용하여 9,761개 웹사이트 전반에 걸쳐 대규모 준수 측정을 수행하였으며, 각 GDPR 요구사항별 준수 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 GDPR가 2018년에 시행된 이후로 주요 웹사이트의 개인정보 정책이 18개의 GDPR 공개 요구사항을 얼마나 이행하고 있는가?
• RQ2 CNN 기반 모델은 개인정보 정책 세그먼트를 특정 GDPR 공개 요구사항 카테고리로 분류하는 데 얼마나 효과적인가?
• RQ3 능동 학습을 통해 GDPR 준수 분류기의 성능을 크게 향상시킬 수 있으며, 레이블링 비용을 최소화할 수 있는가?
• RQ4 개인정보 정책에서 가장 자주 생략되는 GDPR 공개 요구사항은 무엇이며, 각 요구사항의 준수 비율은 얼마인가?
• RQ5 웹사이트 전체의 준수 수준 분포는 어떻게 되며, 전체 18개 요구사항을 모두 이행하는 웹사이트는 몇 개인가?

주요 결과

• CNN 기반 모델은 89.2%의 정확도와 평균 F1 스코어 0.88을 기록했으며, 능동 학습을 통해 초기 모델 대비 10.8%의 상대적 성능 향상을 달성했다.
• 전체 웹사이트 중 단 3%만이 개인정보 정책에서 전체 18개의 GDPR 공개 요구사항을 완전히 이행하고 있어 광범위한 준수 미비를 보여준다.
• 프로파일링 및 자동화된 결정 내림 등의 6개 주요 GDPR 요구사항 카테고리는 전체 개인정보 정책의 15.3%에서 20% 사이에서만 공개되어 있다.
• 프로파일링 또는 자동화된 결정 내림에 대한 정보를 공개해야 하는 요구사항이 가장 자주 생략되었으며, 이는 전체 웹사이트의 15.3%에서만 이뤄지고 있었다.
• 전체 웹사이트의 97%가 적어도 하나의 GDPR 공개 요구사항을 이행하지 못해 개인정보 정책 투명성에 있어 체계적인 결함이 드러났다.
• 연구 결과, 시행 이후 수년이 지난 지금도 GDPR의 법적 요구사항과 실제 개인정보 정책 공개 사이에 뚜렷한 격차가 존재함을 확인했다.