[論文レビュー] Leakage of Dataset Properties in Multi-Party Machine Learning

Wanrong Zhang, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用数 28

ひとこと要約

この論文は、安全なマルチパーティ分散機械学習において、ある参加者が最終モデルへのブラックボックスアクセスのみを介して、他者のデータセットにおける感受性のある属性のグローバル分布を推定できることを示している。感受性のある属性が訓練データに含まれず、他の特徴と相関が低くても、データ内に隠れた相関が存在するため、プライバシーが損なわれる人口レベルの性質が漏洩する。

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a ``curious'' party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes or the target variable.

研究の動機と目的

• 安全なマルチパーティ分散機械学習の文脈において、感受性のある属性の分布といったグローバルデータセットの性質が漏洩するかどうかを調査すること。
• ブラックボックスモデルへのアクセスのみが与えられた場合に、他の参加者のデータに関する人口レベルの統計を推定可能かどうかを評価すること。
• 感受性のある属性を削除するなどの一般的な防御策の有効性を、データ内の相関が依然として漏洩を可能にするという前提で評価すること。
• 感受性のある属性と他の特徴との間のデータ相関が、このような漏洩を可能にする役割を理解すること。
• この漏洩が、表形式、テキスト、グラフデータなど多様なデータタイプにわたり可能であることを実証すること。

提案手法

• 攻撃は、最終モデルへのブラックボックスクエリインタフェースを用い、特定の感受性のある属性の値を変化させたプローブデータセットを精心に構築して、出力の差異を観測する。
• 感受性のある属性の分布を推定するために、モデルの予測出力を用いてロジスティック回帰のメタ分類器を訓練する。
• 感受性のある属性の特定の値を有するレコードの割合を変化させたプローブデータセットを構築し、真の分布を統計的に推定可能にする。
• このアプローチは、表形式（例：adult, random）、テキスト（例：IMDB）、グラフ（例：Cora）といった複数のデータタイプで評価される。
• 感受性のある属性と他の特徴との間の相関が変動する状況、特に感受性のある属性が訓練データに含まれない状況でも攻撃をテストする。
• 1人の参加者が誠実だが好奇心が強いという脅威モデルを想定する。この参加者はデータやモデルコードを改ざんしないが、グローバルな性質に関する情報を抽出することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスアクセスのみを介して、他の参加者のデータセットにおける感受性のある属性の分布を推定できるか？
• RQ2 感受性のある属性が訓練データに含まれない場合でも、グローバルデータセットの性質の漏洩が継続するか？
• RQ3 感受性のある属性が他の特徴や目的変数と低相関、あるいは相関なしの場合、攻撃の有効性はどの程度か？
• RQ4 感受性のある属性と他の特徴との間の隠れた相関が、マルチパーティ学習における漏洩をどの程度促進するか？
• RQ5 感受性のある属性を削除するなどの既存の防御策が、この文脈における人口レベルの性質の漏洩を防げるか？

主な発見

• 攻撃は、ブラックボックスクエリを100～200回程度用いるだけで、他の参加者のデータセットにおける感受性のある属性の分布を高い正確性で推定できた。
• 感受性のある属性が訓練データに含まれない場合でも漏洩が発生することから、データ内の相関そのものが推定を可能にする十分な要因であることが示された。
• この手法は、表形式、テキスト、グラフデータなど多様なデータタイプにわたり有効であり、広範な適用可能性を示した。
• 感受性のある属性が他の特徴や目的変数とほぼ相関がない場合でも、データ内に間接的な相関が存在するため、攻撃は依然として有効であった。
• 感受性のある属性を削除するような単純な防御策は、データ内の相関によって情報が回復可能であるため、漏洩を防げないことが判明した。
• 二パーティ設定では漏洩が顕著に現れたが、2名以上の参加者が関与するマルチパーティ設定では、特定の参加者に属性をマッピングする能力が低下するため、信号が弱まった。