[論文レビュー] Collect at Once, Use Effectively: Making Non-interactive Locally Private Learning Possible

Kai Zheng, Wenlong Mou+1 more|arXiv (Cornell University)|Jun 11, 2017

Privacy-Preserving Technologies in Data参考文献 20被引用数 14

ひとこと要約

本稿は、基本的推定を超えた非インタラクティブな局所的プライバシー学習のための最初の効率的アルゴリズムを提案する。滑らかな一般化線形モデルにおける勾配の近似にチェビシェフ展開を用い、高次元スパース回復にはランダムプロジェクションを適用する。過剰リスクを達成するための準多項式的サンプル複雑度を達成し、次元の対数的依存性を有することで、強いプライバシー制約下でも効果的な学習が可能になる。

ABSTRACT

Non-interactive Local Differential Privacy (LDP) requires data analysts to collect data from users through noisy channel at once. In this paper, we extend the frontiers of Non-interactive LDP learning and estimation from several aspects. For learning with smooth generalized linear losses, we propose an approximate stochastic gradient oracle estimated from non-interactive LDP channel, using Chebyshev expansion. Combined with inexact gradient methods, we obtain an efficient algorithm with quasi-polynomial sample complexity bound. For the high-dimensional world, we discover that under $\ell_2$-norm assumption on data points, high-dimensional sparse linear regression and mean estimation can be achieved with logarithmic dependence on dimension, using random projection and approximate recovery. We also extend our methods to Kernel Ridge Regression. Our work is the first one that makes learning and estimation possible for a broad range of learning tasks under non-interactive LDP model.

研究の動機と目的

• 一般化線形モデルや高次元スパース回帰を含む広範な機械学習タスクにおける非インタラクティブな局所的プライバシー学習を可能にすること。
• 局所的微分プライバシー下で、純粋にノイズの多い非インタラクティブなデータ収集から正確な推定を得るという根本的な課題を克服すること。
• 非インタラクティブLDP下での高次元スパース推定において、次元に対数的依存性を有する効率的なメカニズムを設計すること。
• 非インタラクティブLDP下での滑らかな一般化線形損失関数の学習における理論的サンプル複雑度の境界を確立すること。
• 非パラメトリックモデル（例：カーネルリッジ回帰）への非インタラクティブLDPの適用範囲を拡張すること。

提案手法

• 非インタラクティブな局所的プライベートデータから、チェビシェフ多項式展開を用いて近似的な確率的勾配オラクルを構築する。
• プライベート勾配オラクルを用いて、滑らかな一般化線形損失関数を最適化するための不正確勾配降下法を適用する。
• 次元削減とLDP下での高次元スパース信号の効率的回復を可能にするために、ランダムプロジェクションを用いる。
• 既存の不正確確率的勾配降下法（例：SIGMアルゴリズム）と組み合わせることで、プライベートなチェビシェフ近似を適用し、収束を保証する。
• チェビシェフ近似による勾配推定誤差とプライバシー制約の分析を通じて、サンプル複雑度の境界を導出する。
• 同じプライベート勾配推定技術を活用することで、カーネルリッジ回帰へのフレームワークの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 非バイアス勾配推定が存在しない状況下でも、滑らかな一般化線形モデルにおける非インタラクティブな局所的プライバシー学習が実現可能か？
• RQ2 非インタラクティブLDP設定下での一般化線形モデルにおいて、所定の過剰リスクを達成するための最適なサンプル複雑度は何か？
• RQ3 非インタラクティブLDP下で、次元dに対して対数的依存性を有する高次元スパース線形回帰を解くことは可能か？
• RQ4 局所的プライバシー制約下で、チェビシェフ近似を用いて効率的なプライベート勾配推定を達成する方法は何か？
• RQ5 非パラメトリックモデル（例：カーネルリッジ回帰）に対しても、非インタラクティブLDP学習を拡張することは可能か？

主な発見

• 提案手法は、滑らかな一般化線形モデルにおける過剰リスクαを達成するため、形式 $ O\big((8r/α)^{4r\ln\ln(8r/\alpha)} (4r/\epsilon)^{2cr\ln(8r/\alpha)+2} (1/\alpha^2\epsilon^2) \big) $ の準多項式的サンプル複雑度境界を達成する。
• 高次元スパース線形回帰および平均推定において、次元dに対して対数的依存性を有する過剰リスクを達成し、スパース高次元設定の期待通りの結果を得る。
• チェビシェフ展開の使用により、誤差を制御したプライベートな勾配推定が可能となり、不正確勾配降下法の有効な $ (\gamma, \beta, \sigma) $ 確率的オラクルが構築される。
• フレームワークは、滑らかな一般化線形モデルの代表例であるロジスティック回帰に対しても同様のサンプル複雑度保証を有する形で適用可能である。
• カーネルリッジ回帰においては、理論的収束境界を伴う効果的なプライベート推定が可能となり、非インタラクティブLDPが非パラメトリック学習へと拡張された。
• 本研究の結果は、基本的分布推定を超える広範な学習タスクに対する非インタラクティブな局所的プライバシー学習の最初の既知のアプローチを示している。