[論文レビュー] The Value of Collaboration in Convex Machine Learning with Differential Privacy

Nan Wu, Farhad Farokhi+2 more|arXiv (Cornell University)|Jun 24, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用数 6

ひとこと要約

本稿は、非重複データセットを有する分散環境における凸機械学習のための、プライバシー保護型確率的勾配降下法フレームワークを提案する。データ所有者はプライバシーを保護するため、ノイズを含む勾配を提供する。性能差（プライベートモデルと非プライベートモデルの差）は、データセットサイズおよびプライバシー予算の二乗に反比例して変化することを確立し、学習開始前にプライバシーとユーティリティのトレードオフを正確に予測可能となる。

ABSTRACT

In this paper, we apply machine learning to distributed private data owned by multiple data owners, entities with access to non-overlapping training datasets. We use noisy, differentially-private gradients to minimize the fitness cost of the machine learning model using stochastic gradient descent. We quantify the quality of the trained model, using the fitness cost, as a function of privacy budget and size of the distributed datasets to capture the trade-off between privacy and utility in machine learning. This way, we can predict the outcome of collaboration among privacy-aware data owners prior to executing potentially computationally-expensive machine learning algorithms. Particularly, we show that the difference between the fitness of the trained machine learning model using differentially-private gradient queries and the fitness of the trained machine model in the absence of any privacy concerns is inversely proportional to the size of the training datasets squared and the privacy budget squared. We successfully validate the performance prediction with the actual performance of the proposed privacy-aware learning algorithms, applied to: financial datasets for determining interest rates of loans using regression; and detecting credit card frauds using support vector machines.

研究の動機と目的

• 非重複データセットを持つ複数のデータ所有者間でプライバシー保護型機械学習を可能にすること。
• 分散凸最適化におけるモデルのユーティリティと微分プライバシーのトレードオフを定量化すること。
• データセットサイズおよびプライバシー予算に基づき、実行前における共同機械学習の性能を予測すること。
• 線形回帰およびSVMを用いて、実際の金融データセットを用いて理論的境界の妥当性を検証すること。
• 規制が厳しい環境におけるデータ共有意思決定を支援するため、事前性能推定を提供すること。

提案手法

• 学習者は、分散されたデータ所有者に勾配クエリを送信し、データ所有者は、適切にスケーリングされたノイズを追加することで、微分プライバシーを満たす勾配を返答する。
• 滑らかさおよび強い凸性の下で、ステップサイズを反復回数に反比例し、反復回数の二乗に反比例するように設定した確率的勾配降下法を用いる。
• 強い凸性がない問題に対しては、ノイズの影響を軽減するために平均化層を適用し、ステップサイズを反復回数の逆平方根に減少させる。
• 理論的分析により、プライベートモデルと非プライベートモデルの適合コスト差の上限を導出。n²およびϵ²に反比例する依存関係を示した。
• 実世界の金融データセットを用いて、線形回帰およびサポートベクターマシンを用いて実証的検証を実施。
• フレームワークは、誠実だが好奇心の強いデータ所有者と中央の学習者を想定し、通信はスター型トポロジーで構造化される。

実験結果

リサーチクエスチョン

• RQ1 分散凸機械学習におけるプライバシーとユーティリティのトレードオフは、データセットサイズおよびプライバシー予算にどのように依存するか？
• RQ2 理論的境界は、実際のプライベート学習の性能を正確に予測できるか？
• RQ3 収束を保証し、プライベートモデルと非プライベートモデルの適合度差を最小化するステップサイズスケジューリングは何か？
• RQ4 強い凸性が欠如している場合、プライベート確率的勾配降下法の収束性およびユーティリティにどのような影響を与えるか？
• RQ5 提案されたフレームワークは、金融・エネルギー分野などの規制が厳しい分野における実用的データ共有意思決定を支援できるか？

主な発見

• 滑らかさおよび強い凸性の下で、プライベートモデルと非プライベートモデルの適合コスト差は、合計データセットサイズの二乗およびプライバシー予算の二乗に反比例する。
• 強い凸性がない問題に対しては、適合コスト差はデータセットサイズおよびプライバシー予算に反比例する（二乗ではない）が、収束の安定化のため平均化層を必要とする。
• 金融データセットを用いた実証的結果は、相対的適合誤差が予測通り ∼1/ϵ² および ∼1/n² のスケーリングを示している。
• モデル性能差の理論的上界はタイトであり、実世界の応用において実際の性能を正確に反映している。
• フレームワークにより、データ所有者は事前にモデルのユーティリティを予測可能となり、プライバシー予算の配分に関する意思決定を支援できる。
• データ所有者が学習者として機能し、自らのプライバシー予算を設定できるため、分散型デプロイメントを支援する。