[論文レビュー] How Does Data Augmentation Affect Privacy in Machine Learning?

Dahua Yu, Huishuai Zhang+3 more|arXiv (Cornell University)|Jul 21, 2020

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、データ拡張が機械学習におけるプライバシーリスクを軽減するという仮定に挑戦し、拡張済みデータで訓練されたモデルを標的とする際、メンバーインファレンス（MI）攻撃がはるかに効果的であることを示している。著者らは、拡張されたデータインスタンスを集合として扱う新しい集合分類アプローチを提案しており、順列不変特徴量としきい値ベースまたはニューラルネットワーク分類器を用い、CIFAR-10で70.1%のMI成功率を達成した。これは、拡張なしで訓練されたモデルに対しても、従来の最先端技術を上回っている。

ABSTRACT

It is observed in the literature that data augmentation can significantly mitigate membership inference (MI) attack. However, in this work, we challenge this observation by proposing new MI attacks to utilize the information of augmented data. MI attack is widely used to measure the model's information leakage of the training set. We establish the optimal membership inference when the model is trained with augmented data, which inspires us to formulate the MI attack as a set classification problem, i.e., classifying a set of augmented instances instead of a single data point, and design input permutation invariant features. Empirically, we demonstrate that the proposed approach universally outperforms original methods when the model is trained with data augmentation. Even further, we show that the proposed approach can achieve higher MI attack success rates on models trained with some data augmentation than the existing methods on models trained without data augmentation. Notably, we achieve a 70.1% MI attack success rate on CIFAR10 against a wide residual network while the previous best approach only attains 61.9%. This suggests the privacy risk of models trained with data augmentation could be largely underestimated.

研究の動機と目的

• 機械学習モデルにおけるデータ拡張がメンバーインファレンス（MI）攻撃を軽減するという広く共有されている信念を再評価すること。
• ベイジアンな視点から、データ拡張下での最適なメンバーインファレンスを形式化し、個々のサンプルではなく、拡張されたインスタンスの集合を用いるべきであることを示すこと。
• データ拡張で訓練されたモデルに対して、従来の手法を上回る性能を示す実用的なMI攻撃アルゴリズムを設計すること。
• データ拡張で訓練されたモデルが、拡張なしで訓練されたモデルよりもMI攻撃に対してより脆弱であることを実証的に示すこと。
• グループ微分プライバシーを用いてMI成功確率の理論的上限を導出し、拡張の増加に伴いプライバシー保証が向上するわけではないことを示すこと。

提案手法

• 与えられたデータポイントの拡張バージョンからの損失値の集合を入力とするセット分類問題としてメンバーインファレンスを定式化する。
• 理論的に最適な推論を想起させるように、拡張インスタンス間の平均損失を意思決定統計量として用いるしきい値ベースの手法を提案する。
• 順列不変特徴量を用いて、入力の順序に依存しないようにするニューラルネットワーク分類器を設計し、拡張された損失値の集合を処理する。
• ベイジアン後確率とグループ微分プライバシーを用いて、最適なメンバーインファレンスの理論的境界を導出する。
• k個の拡張バージョンが存在する場合、$\frac{\epsilon}{k}$-微分プライバシー下でも、メンバーインファレンス成功確率の上界が変化しないことを示し、拡張の増加に伴いプライバシーが向上するという従来の仮定に反する。
• 先行研究（Sablayrollesら、2019年）で示されたように、ロジットよりも損失値がMI攻撃においてより効果的であるため、損失値を主な入力信号として使用する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張は本当にメンバーインファレンス攻撃のリスクを軽減するのか、それとも新たな攻撃表面を生じさせることで逆にリスクを増大させるのか？
• RQ2 モデルが拡張データで訓練された場合、最適なメンバーインファレンス戦略は何か？ これは単一インスタンス推論とはどのように異なるか？
• RQ3 集合ベースのメンバーインファレンスアプローチは、データ拡張で訓練されたモデルに対して、従来の手法を上回る性能を示せるか？
• RQ4 グループ微分プライバシーは、データ拡張が存在する状況下で、メンバーインファレンス成功確率の理論的上限とどのように関係するか？
• RQ5 データ拡張で訓練されたモデルにおけるメンバーインファレンス成功確率は、拡張なしで訓練されたモデルを上回れるか？

主な発見

• 提案された集合ベースのメンバーインファレンス攻撃は、CIFAR-10で95%以上のテスト精度を達成するワイドリサンプルネットワークに対して70.1%の成功確率を達成し、従来の最先端技術（61.9%）を著しく上回った。
• 本研究で提案された攻撃手法は、データ拡張で訓練されたモデルに適用した場合、常に既存のMIアルゴリズムを上回る性能を示した。
• 拡張なしで訓練されたモデルですら、本手法を拡張ありモデルに適用した場合に劣る結果を示しており、データ拡張が従来の考えとは逆にプライバシーリスクを軽減しない可能性を示唆している。
• 理論的分析により、$\frac{\epsilon}{k}$-微分プライバシー下でも、メンバーインファレンス成功確率の上界が$\sigma(\epsilon + \log(q/(1-q)))$のまま変化せず、拡張数$k$の増加とは無関係であることが示された。これは、$k$が大きくなるほどプライバシーが向上するとの従来の仮定に反する。
• ニューラルネットワーク分類器における順列不変特徴量の使用は、性能向上に不可欠であり、拡張インスタンスの順序に頼らない堅牢性を保証する。
• 本研究は、データ拡張がプライバシー漏洩を拡大させる可能性があることを明らかにした。これは、現在のプライバシー評価手法が根本的に誤っている可能性を示唆している。