[論文レビュー] Privacy Loss in Apple's Implementation of Differential Privacy on MacOS 10.12

Tang Jun, Aleksandra Korolova+3 more|arXiv (Cornell University)|Sep 8, 2017

Privacy-Preserving Technologies in Data参考文献 11被引用数 186

ひとこと要約

本論文は Apple の MacOS 10.12 におけるローカル差分プライバシーの実装を分析し、データあたりのプライバシーパラメータを明らかにする一方で、予算管理と二重レベルの予算設定のために1日の総プライバシー損失がはるかに大きくなることを明らかにする。

ABSTRACT

In June 2016, Apple announced that it will deploy differential privacy for some user data collection in order to ensure privacy of user data, even from Apple. The details of Apple's approach remained sparse. Although several patents have since appeared hinting at the algorithms that may be used to achieve differential privacy, they did not include a precise explanation of the approach taken to privacy parameter choice. Such choice and the overall approach to privacy budget use and management are key questions for understanding the privacy protections provided by any deployment of differential privacy. In this work, through a combination of experiments, static and dynamic code analysis of macOS Sierra (Version 10.12) implementation, we shed light on the choices Apple made for privacy budget management. We discover and describe Apple's set-up for differentially private data processing, including the overall data pipeline, the parameters used for differentially private perturbation of each piece of data, and the frequency with which such data is sent to Apple's servers. We find that although Apple's deployment ensures that the (differential) privacy loss per each datum submitted to its servers is $1$ or $2$, the overall privacy loss permitted by the system is significantly higher, as high as $16$ per day for the four initially announced applications of Emojis, New words, Deeplinks and Lookup Hints. Furthermore, Apple renews the privacy budget available every day, which leads to a possible privacy loss of 16 times the number of days since user opt-in to differentially private data collection for those four applications. We advocate that in order to claim the full benefits of differentially private data collection, Apple must give full transparency of its implementation, enable user choice in areas related to privacy loss, and set meaningful defaults on the privacy loss permitted.

研究の動機と目的

• Apple が MacOS 10.12 でローカル差分プライバシーをどのように実装しているかを理解する。
• 使用されているプライバシー予算管理とデータあたりのプライバシーパラメータを特定する。
• データがどのくらい頻繁に報告され、時間とともにプライバシー損失がどのように蓄積されるかを評価する。
• プライバシー予算システムの透明性、設定可能性、および潜在的な乱用経路を評価する。

提案手法

• macOS Sierra (10.12) 実装の静的・動的コード分析。
• DifferentialPrivacy.framework と dprivacyd デーモンの逆コンパイルと追跡。
• プライバシー予算とデータフローを把握するためにデータベーステーブル、設定ファイル、レポートファイルを調査。
• 設定パラメータを実験的に操作して、プライバシーパラメータと予算挙動への影響を観察。

実験結果

リサーチクエスチョン

• RQ1 プライベタイズ前のデータ型ごとに使用されるデータあたりのプライバシーパラメータは何か？
• RQ2 レポートに選択されるレコードの頻度はどれくらいで、1レポートあたりおよび日ごとの最大のプライバシー損失はどの程度か？
• RQ3 デバイスあたりの総合プライバシー損失は時間とともに有界か無限か？
• RQ4 パラメータとタイミング操作に対するシステムの耐性はどの程度か、乱用の可能性はどこにあるか？

主な発見

• データ型ごとにデータあたりのプライバシーパラメータの値が定義されており（例: emojis、NewWords）設定ファイルの値と一致している。
• システムは BudgetKeyName ごとに予算残高 (ZBALANCE) を、SessionSeconds ごとに増加する SessionAmount を使用して予算の成長を制御している。
• レポート生成機は KeyName あたり最大で min(SessionAmount, 40) 件を選択し、利用可能な予算残高に制約され、アクティブな型について日次のプライバシー損失は PrivacyParameter × SessionAmount に等しくなる。
• プライバシー予算は毎に SessionSeconds で補充され、未使用の予算は繰り越される。これにより、4つの初期アプリケーションについては時間とともに無限の総プライバシー損失が生じうる可能性がある。
• 4つの初期アプリの1日あたり許容プライバシー損失は最大で 16 になり、予算補充の仕組みにより、同意開始日からの日数に応じてデバイス全体の損失が増大する。
• 実装には（ハードコードされた制限、設定変更の難易度を含む）安全策が含まれるが、ルート権限による乱用の可能性や、予算やパラメータを変更する Apple の将来的な変更による乱用を完全には排除していない。
• macOS 10.12.1 と 10.12.3 の設定には差異があり、特に NewWords の SessionAmount の増加と health/local words 予算の追加、さらに SubmissionPriority が含まれる。