[논문 리뷰] Unpacking Privacy Labels: A Measurement and Developer Perspective on Google's Data Safety Section

Rishabh Khandelwal, Asmit Nayak외 2명|arXiv (Cornell University)|2023. 06. 13.

Privacy, Security, and Data Protection인용 수 12

한 줄 요약

본 논문은 Google's Data Safety Section (DSS)를 대규모 Android 앱 데이터셋, 종단 연구, 개발자 설문조사를 사용하여 불일치, 과소/과다 보고, 진화하는 관행을 밝히고 DSS 유용성을 향상시키기 위한 권고안을 제시한다.

ABSTRACT

Google has mandated developers to use Data Safety Sections (DSS) to increase transparency in data collection and sharing practices. In this paper, we present a comprehensive analysis of Google's Data Safety Section (DSS) using both quantitative and qualitative methods. We conduct the first large-scale measurement study of DSS using apps from Android Play store (n=1.1M). We find that there are internal inconsistencies within the reported practices. We also find trends of both over and under-reporting practices in the DSSs. Next, we conduct a longitudinal study of DSS to explore how the reported practices evolve over time, and find that the developers are still adjusting their practices. To contextualize these findings, we conduct a developer study, uncovering the process that app developers undergo when working with DSS. We highlight the challenges faced and strategies employed by developers for DSS submission, and the factors contributing to changes in the DSS. Our research contributes valuable insights into the complexities of implementing and maintaining privacy labels, underlining the need for better resources, tools, and guidelines to aid developers. This understanding is crucial as the accuracy and reliability of privacy labels directly impact their effectiveness.

연구 동기 및 목표

• Google's Data Safety Section (DSS)에서 개발자들이 앱 프라이버시 관행을 어떻게 보고하는지 평가한다.
• DSS 구현 후 1년 동안 DSS 보고 패턴이 어떻게 진화하는지 검토한다.
• DSS 제출의 변화에 영향을 주는 요인, 도전 과제 및 행동을 식별한다.
• 개발자의 경험을 이해하여 DSS를 위한 리소스, 도구 및 가이드라인을 개선한다.

제안 방법

• 2022년 6월부터 2023년 5월까지 10개의 스냅샷에 걸쳐 2.46 million apps의 DSS 메타데이터를 수집해 분석한다.
• 결정 메커니즘, 양식 작성, DSS 업데이트를 이해하기 위해 3,500명의 앱 개발자와 대화한다.
• 개발자 응답을 질적으로 분석하여 DSS 생태계에 대한 참여를 모델링한다.
• DSS 보고서를 앱 권한 및 서드파티 라이브러리와 교차 검증하여 불일치를 식별한다.

Figure 1 : An example of the data safety section of an Android app.

실험 결과

연구 질문

• RQ1 RQ1: 개발자들은 Google’s Data Safety Sections에서 앱 프라이버시 관행을 어떻게 보고하는가?
• RQ2 RQ2: DSS 구현 후 1년 동안 이러한 보고 관행의 패턴은 어떻게 진화해 왔는가?
• RQ3 RQ3: Google’s DSS의 변화의 배경이 되는 요인들, 직면한 도전과제, 그리고 개발자들의 행동은 무엇인가?

주요 결과

• As of May 2023, Google Play Store에 있는 앱의 46.8%에 프라이버시 라벨이 표시된다.
• DSS가 적용된 앱 중에서는 DSS 양식에서 과소보고, 과다보고, 불일치의 패턴이 있다.
• 지난해에 걸쳐 DSS를 최소 한 번 업데이트한 앱은 약 40%이며, 일부는 여러 차례 업데이트했다.
• 종단적 관점은 시간이 지남에 따라 데이터 수집 및 공유 관행이 바뀌는 것을 보여주며, 데이터 범주 추가/삭제를 포함한다.
• 개발자 연구는 제3자 라이브러리에 대한 정보 부족, 양식의 복잡성, 불일치한 심사 결과, 낮은 영어 숙련도, 불명확한 프로세스 등의 도전 과제를 드러낸다.
• 연구는 더 나은 교육 자원, 다국어 지원, 양식 단순화, 개선된 개발자 피드백이 DSS의 정확성과 신뢰성을 향상시킬 수 있다고 결론지었다.

Figure 2 : The hierarchy of the Google Data Safety Section, showcasing the various layers and components.