[論文レビュー] Inference Attacks Against Collaborative Learning.

Luca Melis, Congzheng Song+2 more|arXiv (Cornell University)|May 10, 2018

Adversarial Robustness in Machine Learning参考文献 66被引用数 93

ひとこと要約

この論文は、共同学習システムが推論攻撃に対して脆弱であることを示している。悪意ある参加者が共有されるモデルパラメータや勾配を利用して、正確なトレーニングデータポイント（メンバーシップ推論）や、共同モデルに捉えられていない隠れたデータ特性（プロパティ推論）を推定できる。攻撃は多様なタスクとデータセットで高い成功率を示し、フェデレーテッドおよび分散学習における重要なプライバシーリスクを浮き彫りにしている。

ABSTRACT

Collaborative machine learning and related techniques such as distributed and federated learning allow multiple participants, each with his own training dataset, to build a joint model. Participants train local models and periodically exchange model parameters or gradient updates computed during the training. We demonstrate that the training data used by participants in collaborative learning is vulnerable to inference attacks. First, we show that an adversarial participant can infer the presence of exact data points in others' training data (i.e., membership inference). Then, we demonstrate that the adversary can infer properties that hold only for a subset of the training data and are independent of the properties that the joint model aims to capture. We evaluate the efficacy of our attacks on a variety of tasks, datasets, and learning configurations, and conclude with a discussion of possible defenses.

研究の動機と目的

• 共同学習システムがトレーニングデータプライバシーを損なう推論攻撃に対して脆弱であるかどうかを調査すること。
• 悪意ある参加者が共有されるモデルパラメータや勾配を通じて、他の参加者のトレーニングデータに含まれる正確なデータポイントを推定できることを示すこと。
• モデルの主な学習目的とは関係のない、隠れたデータ固有の特性を攻撃者が推定できるかどうかを調査すること。
• これらの攻撃がさまざまな機械学習タスク、データセット、および共同学習設定においてどの程度有効であるかを評価すること。
• 共同学習フレームワークにおけるこうした推論脅威に対する防御策について議論すること。

提案手法

• 著者らは、共同学習の過程で交換される共有モデルパラメータや勾配更新を分析する推論攻撃を設計した。
• メンバーシップ推論のための攻撃は、モデル重みや勾配の変化に基づいて、特定のデータポイントが参加者のトレーニングセットに含まれていたかどうかを統計的分析で特定する。
• プロパティ推論のための攻撃は、主なモデル目的と一致しないが、まれなまたは隠れたデータ特性と相関するモデル更新のパターンを同定する。
• 攻撃は、画像分類や自然言語処理タスクを含む、複数のデータセットと学習設定で評価された。標準的な共同学習設定が用いられた。
• この手法は、データが直接共有されていなくても、モデル更新が裏側のトレーニングデータに関する情報を露呈することを利用している。
• 実験では、異なるモデルアーキテクチャ、データ分布、通信頻度における攻撃の成功率を比較した。

実験結果

リサーチクエスチョン

• RQ1 共同学習システムに参加する悪意ある参加者が、他の参加者のトレーニングセットに特定のデータポイントが含まれていたかどうかを推定できるか？
• RQ2 攻撃者は、主な学習目的とは関係のない、隠れたデータ固有の特性をどの程度推定できるか？
• RQ3 これらの推論攻撃は、さまざまな機械学習タスク、データセット、および共同学習設定においてどの程度有効か？
• RQ4 これらの推論攻撃の成功率に影響を与える要因は何か？
• RQ5 これらの攻撃は、フェデレーテッドおよび分散学習のプライバシー保証にどのような影響を及えるか？

主な発見

• メンバーシップ推論攻撃は、複数のデータセットとモデルタイプにおいて、高い正確性で、特定のデータポイントが他の参加者のトレーニングデータに含まれていたかどうかを正しく識別できた。
• プロパティ推論攻撃は、モデルの主な目的とは一致しないが、まれなまたは隠れたデータ特性を検出でき、モデル更新が意図しない情報を漏洩させることを示している。
• 非IIDデータ分布や異なる通信間隔を含む現実的な共同学習設定でも、攻撃の成功率は依然として高い水準を維持した。
• 画像分類や自然言語処理を含む多様なタスクにおいて、脆弱性が一貫して確認されたため、脅威の広範な適用可能性が示された。
• 共同学習システムは、モデルパラメータや勾配が露出されることにより、本質的に推論攻撃に対して感受性を示していることが実証された。
• 本研究は、現在の共同学習プロトコルがトレーニングデータプライバシーを十分に保護していないことを明らかにし、より強力な防御メカニズムの導入が不可欠であることを示唆した。