[論文レビュー] Dataset-Level Attribute Leakage in Collaborative Learning.

Wanrong Zhang, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 8

ひとこと要約

この論文は、安全なマルチパーティ分散計算を用いた協調的機械学習が、最終モデルへのブラックボックスアクセスしか与えられない状況でも、グローバルなデータセットレベルの属性——例えば、機微な特徴の分布——を複数の参加者間で漏洩させることを明らかにしている。攻撃は、表形式、テキスト、グラフデータのすべての分野に適用可能であり、機微な特徴が訓練データに存在せず、他の特徴と相関が低い状況でも、集団レベルの情報を露呈する。

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a curious party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes and the target variable.

研究の動機と目的

• 安全なマルチパーティ機械学習が、機微な属性の分布のようなデータセットのグローバルな特性を意図せず漏洩させるかどうかを調査すること。
• 機微な属性が訓練データに含まれず、他の特徴と相関が低い状況でも、そのような漏洩が生じるかどうかを検証すること。
• 機微な属性と他のデータとの間のさまざまな相関構造をモデル化することで、この漏洩のメカニズムを理解すること。
• 表形式、テキスト、グラフ構造のデータを含む多様なデータタイプにおいて、この漏洩の耐性を評価すること。
• 異なるモデルアーキテクチャーや学習設定下での属性漏洩の程度と正確さを測定すること。

提案手法

• 著者らは、最終モデルへのブラックボックスアクセスのみを前提としたインフェレンス攻撃を設計し、他者のデータセットにおける機微な属性の分布を再構築する。
• 機微な属性と他の特徴の間の相関を、低相関や非線形相関を含む複数の相関構造でモデル化する。
• モデルの出力（例：予測値、勾配、ログティ）を活用して、他者のデータにおける機微な属性のグローバル統計を推定する。
• 多様なデータタイプで、フィードフォワードネットワーク、GNN、BERTベースのモデルを含む多数の機械学習モデルを用いて、手法を評価する。
• 統計的インフェレンス技術を用いて、他者のデータセットにおける機微な属性の正例の割合を高い正確さで推定する。
• 実世界のデータセットを用いて、表形式、テキスト、グラフドメインの全般にわたって、一般化可能性を実証する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスアクセスのみを介して、協調学習モデルの最終出力から、他者のデータセットにおける機微な属性のグローバルな分布を推定できるか？
• RQ2 機微な属性が訓練データに含まれず、他の特徴や目的変数と相関が低い状況でも、データセットレベルの属性漏洩が継続するか？
• RQ3 表形式、テキスト、グラフ構造のデータなど、異なるデータモダリティにおいて、漏洩はどのように変化するか？
• RQ4 モデルアーキテクチャーや学習ダイナミクスが、この種の属性漏洩を促進するか、あるいは抑制するかに果たす役割は何か？
• RQ5 モデル出力に対する統計的インフェレンスを用いることで、この漏洩はどの程度測定・定量化できるか？

主な発見

• 機微な属性が訓練データに存在しない状況でも、攻撃は他者のデータセットにおけるその属性の分布を高い正確さで推定できた。
• 機微な属性が他の特徴や目的変数と相関が低くても漏洩が発生するため、強い特徴依存性に依存しないことが示された。
• 攻撃は表形式、テキスト、グラフデータを含む多数のデータタイプに一般化可能であり、広範な適用可能性を示した。
• 勾配や内部モデル状態へのアクセスが不要なブラックボックスクエリのみで、漏洩が検出可能かつ定量化可能である。
• 結果として、集団レベルのデータセット特性——例えば、特定の機微な特性を持つ個人の割合——が最小限の誤差で再構築可能であることが示され、深刻なプライバシー懸念を呈した。
• 本研究は、安全なマルチパーティ計算のような強いセキュリティ仮定のもとでも、データセットレベルの特性の機微性が脅かされていることを明らかにした。