[논문 리뷰] Analyzing Privacy Policies Using Contextual Integrity Annotations

Yan Shvartzshnaider, Noah Apthorpe외 2명|arXiv (Cornell University)|2018. 09. 06.

Privacy, Security, and Data Protection참고 문헌 23인용 수 8

한 줄 요약

이 논문은 개인정보 정책의 애너테이션 및 분석을 위해 Contextual Integrity (CI) 프레임워크를 제안하며, GDPR 이전 및 이후 페이스북 개인정보 정책에 대한 사례 연구를 통해 그 효과성을 입증한다. 이를 통해 크라우드소싱을 통해 높은 정밀도의 CI 애너테이션(0.9 단어 기반 정밀도)을 생성할 수 있음을 보여주며, 개인정보 정책 내 정보 흐름의 분석을 체계적이고 확장 가능한 방식으로 가능하게 하여 모호성, 누락된 매개변수, 매개변수 과잉 증가 등의 문제를 탐지할 수 있다.

ABSTRACT

In this paper, we demonstrate the effectiveness of using the theory of contextual integrity (CI) to annotate and evaluate privacy policy statements. We perform a case study using CI annotations to compare Facebook's privacy policy before and after the Cambridge Analytica scandal. The updated Facebook privacy policy provides additional details about what information is being transferred, from whom, by whom, to whom, and under what conditions. However, some privacy statements prescribe an incomprehensibly large number of information flows by including many CI parameters in single statements. Other statements result in incomplete information flows due to the use of vague terms or omitting contextual parameters altogether. We then demonstrate that crowdsourcing can effectively produce CI annotations of privacy policies at scale. We test the CI annotation task on 48 excerpts of privacy policies from 17 companies with 141 crowdworkers. The resulting high precision annotations indicate that crowdsourcing could be used to produce a large corpus of annotated privacy policies for future research.

연구 동기 및 목표

• GDPR와 같은 규제 변화에 대비하여 개인정보 정책의 명확성과 완전성 평가를 위한 체계적이고 형식적인 방법의 부족을 해결하기 위해.
• Contextual Integrity (CI) 프레임워크가 개인정보 정책 내 정보 흐름을 체계적이고 분석 가능한 방식으로 표현할 수 있는지 조사하기 위해.
• 비전문가가 대규모로 수행할 수 있는 고정밀도 CI 애너테이션을 크라우드소싱을 통해 확보할 수 있는지 평가하기 위해.
• GDPR와 같은 주요 규제 업데이트 이전 및 이후 개인정보 정책에서 지속적으로 나타나는 문제들—예를 들어 모호한 언어, 누락된 매개변수, 매개변수 과잉 증가—를 식별하기 위해.
• 향후 개인정보 정책 투명성에 관한 연구를 가능하게 하기 위해, 애너테이션된 개인정보 정책 코퍼스를 확장 가능한 방법으로 생성하는 기반을 마련하기 위해.

제안 방법

• 정보 흐름을 5개 매개변수 튜플(보내는 이, 수신자, 대상, 정보 유형(속성), 전송 원칙(조건))로 모델링하기 위해 CI 프레임워크를 적용한다.
• 데이터 전송 문구에 중점을 두고, 17개 기업의 개인정보 정책에서 추출한 문구를 수작업으로 CI 프레임워크를 사용해 애너테이션한다.
• GDPR 이전 및 이후 페이스북 개인정보 정책을 비교하는 사례 연구를 수행하여, 정보 흐름 기술 방식의 변화를 CI 애너테이션을 통해 평가한다.
• 비전문가에서 CI 애너테이션을 수집하기 위해 Amazon Mechanical Turk (AMT)에 크라우드소싱 작업을 설계하고 배포한다.
• 단어 기반 정밀도 점수를 사용해 크라우드소싱 애너테이션을 전문가가 애너테이션한 기준값과 비교한다.
• 결과적으로 얻어진 고정밀도 애너테이션을 바탕으로 대규모 개인정보 정책 분석 및 향후 머신러닝 학습을 위한 기반을 마련한다.

실험 결과

연구 질문

• RQ1 특히 GDPR 이후 개인정보 정책이 정보 흐름 기술의 명확성과 완전성에서 얼마나 향상되었는가?
• RQ2 GDPR과 같은 주요 규제 업데이트 이후 개인정보 정책 내 정보 흐름의 수와 구조는 어떻게 변화하는가?
• RQ3 비전문가로 구성된 크라우드소싱 작업자들이 개인정보 정책 문구에 대해 신뢰할 수 있고 정밀도가 높은 CI 애너테이션을 생성할 수 있는가?
• RQ4 누락된 매개변수, 모호한 언어, 매개변수 과잉 증가 등의 유형의 개인정보 정책 문구 중에서 사용자 이해를 가장 심각하게 방해하는 것은 무엇인가?
• RQ5 CI 프레임워크를 사용하여 개인정보 정책 간에 부족하거나 모호하거나 지나치게 복잡한 정보 흐름 기술을 체계적으로 탐지하고 비교할 수 있는가?

주요 결과

• 업데이트된 페이스북 개인정보 정책는 GDPR 이전 버전 대비 거의 두 배에 가까운 정보 흐름을 기술하고 있으나, 명확성이나 완전성은 향상되지 않았다.
• GDPR 이전 정책의 45%와 업데이트된 정책의 63%가 CI 매개변수 중 하나 이상을 누락하여 불완전하다.
• 두 정책 버전 모두 50% 이상의 문장에서 모호하거나 애매한 언어를 사용하여 사용자 이해를 저해한다.
• 상당수의 문장에서 동일한 매개변수 유형이 여러 번 반복되어 나타나는 '매개변수 과잉 증가' 현상이 발생하여 인지 부담을 증가시킨다.
• 전문가 기준값과 비교해 크라우드소싱 애너테이션의 단어 기반 정밀도 점수가 0.9에 도달하여 높은 신뢰성과 활용 가능성을 입증했다.
• 크라우드소싱 애너테이션의 고정밀도는 CI 애너테이션이 직관적이고 확장 가능하다는 것을 보여주며, 향후 연구 및 도구 개발을 위한 대규모 코퍼스 구축에 기여할 수 있다.