[論文レビュー] Collecting and Analyzing Data from Smart Device Users with Local Differential Privacy

Thông Nguyen, Xiaokui Xiao+4 more|arXiv (Cornell University)|Jun 16, 2016

Privacy-Preserving Technologies in Data参考文献 14被引用数 163

ひとこと要約

Harmonyは、スマートデバイスからの多属性データ（数値属性とカテゴリ属性）を収集・分析するための実用的な局所差分プライバシーシステムであり、平均値/頻度推定や機械学習タスク（線形回帰/ロジスティック回帰、SVM）を、強力なプライバシー保証とともに実現します。

ABSTRACT

Organizations with a large user base, such as Samsung and Google, can potentially benefit from collecting and mining users' data. However, doing so raises privacy concerns, and risks accidental privacy breaches with serious consequences. Local differential privacy (LDP) techniques address this problem by only collecting randomized answers from each user, with guarantees of plausible deniability; meanwhile, the aggregator can still build accurate models and predictors by analyzing large amounts of such randomized data. So far, existing LDP solutions either have severely restricted functionality, or focus mainly on theoretical aspects such as asymptotical bounds rather than practical usability and performance. Motivated by this, we propose Harmony, a practical, accurate and efficient system for collecting and analyzing data from smart device users, while satisfying LDP. Harmony applies to multi-dimensional data containing both numerical and categorical attributes, and supports both basic statistics (e.g., mean and frequency estimates), and complex machine learning tasks (e.g., linear regression, logistic regression and SVM classification). Experiments using real data confirm Harmony's effectiveness.

研究の動機と目的

• 大規模なユーザ基盤（例: Samsung）からのプライバシー保護データ収集を、局所差分プライバシー（LDP）を用いて動機づける。
• 数値属性とカテゴリ属性が混在するデータを扱い、基本的な統計量と経験的リスク最小化タスクをサポートするようにHarmonyを開発する。
• 実務的で正確かつスケーラブルなLDPメカニズムを、理論的保証と実データによる実証で提供する。

提案手法

• 数値属性とカテゴリ属性の両方を含むユーザタプルを集約器へ送信する前に摂動する、LDPベースのシステム Harmony を提案する。
• 数値属性の摂動メカニズムを開発し、偏りのない平均推定を制御誤差とともに得る。Duchi らの従来法の限界（いくつかのレジームでバグが生じるなど）に対処する。
• 数値属性のための、1ユーザーあたり1ビットのシンプルで効率的な摂動方式を導入し、epsilon-LDPと偏りのない平均推定を実現し、経験的精度を向上させる。
• カテゴリ属性には Harmony は Bassily and Smith の射影ベース手法を用い、epsilon-LDPの下で値の頻度（ヒストグラム）を推定し、実務上の安定性を向上させる適応を行う。
• 複数属性へ拡張するために、各ユーザーごとに報告する属性をランダム化し、数値平均とカテゴリ頻度を一つのプライバシー保護フレームワークに組み合わせる。
• Harmony が、確率的勾配法に基づく手法を通じて、LDP下での経験的リスク最小化タスク（線形回帰、ロジスティック回帰、SVM）をサポートすることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数属性設定で、Harmony は数値属性の正確な平均推定とカテゴリ属性の信頼できる頻度推定を epsilon-LDP の下で提供できるか。
• RQ2 結合された数値データとカテゴリデータに対して、LDP を活用して実用的な機械学習（線形回帰/ロジスティック回帰、SVM）を可能にするにはどうすればよいか。
• RQ3 Harmony の摂動メカニズムの理論的/誤差保証は何か、既存のLDP手法とどう比較されるか。
• RQ4 多数の属性や複数のカテゴリ属性を扱う場合、属性報告のランダム化は精度にどう影響するか。

主な発見

• 数値属性のための単純な1ビット-per-user摂動メカニズムは、epsilon-LDPを達成し、sqrt(d)およびsqrt(log(d/β))で成長する証明付きの誤差境界を持つ偏りのない平均推定を実現する。
• カテゴリ属性には Harmony は Bassily and Smith の射影ベース手法を用い、値ごとに O(sqrt(log(k/β))/(ε√n)) の誤差を達成し、k が中程度のとき従来手法より安定性を向上させる。
• 複数属性を扱う場合、数値平均の1属性あたりの誤差は O(√(d log(d/β))/(ε√n))、カテゴリ頻度は O(√(d log(k/β))/(ε√n)) のオーダーになり、高確率保証（1−β）を持つ。
• Harmony は、適切な摂動と学習パイプラインを通じて、ローカル差分プライバシーの下で経験的リスク最小化タスク（線形回帰、ロジスティック回帰、SVM）を可能にし、実データで実用的な性能を検証した。
• 本論文は、従来の局所DP平均推定法（特にDuchi らのアプローチ）における問題を特定・修正し、最小限の通信（数値データに対して1ビット／ユーザー）で実装できる、頑健で効率的な代替案を提供する。