[論文レビュー] How to Combine Membership-Inference Attacks on Multiple Updated Models

Matthew Jagielski, Stanley Wu+3 more|arXiv (Cornell University)|May 12, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、元の機械学習モデルと更新済みモデルの両方における単体のメンバーシップインファレンス攻撃からの信頼度スコアを組み合わせることで、攻撃の正確性を著しく向上させる、新たなブラックボックスメンバーシップインファレンス攻撃を提案する。モデルの更新と分布シフトを活用することで、単一のシャロウモデルを用いるだけで、機械学習のアンラーニングを目的とした手法を含む先行研究を上回る性能を発揮するScoreDiffおよび／組み合わせ関数を提案する。特に、小さな更新セットや極端な分布シフトの下でも、AUCと精度が向上する。

ABSTRACT

A large body of research has shown that machine learning models are vulnerable to membership inference (MI) attacks that violate the privacy of the participants in the training data. Most MI research focuses on the case of a single standalone model, while production machine-learning platforms often update models over time, on data that often shifts in distribution, giving the attacker more information. This paper proposes new attacks that take advantage of one or more model updates to improve MI. A key part of our approach is to leverage rich information from standalone MI attacks mounted separately against the original and updated models, and to combine this information in specific ways to improve attack effectiveness. We propose a set of combination functions and tuning methods for each, and present both analytical and quantitative justification for various options. Our results on four public datasets show that our attacks are effective at using update information to give the adversary a significant advantage over attacks on standalone models, but also compared to a prior MI attack that takes advantage of model updates in a related machine-unlearning setting. We perform the first measurements of the impact of distribution shift on MI attacks with model updates, and show that a more drastic distribution shift results in significantly higher MI risk than a gradual shift. Our code is available at https://www.github.com/stanleykywu/model-updates.

研究の動機と目的

• 現実のMLシステムではモデルが繰り返し更新されるにもかかわらず、単体モデルに焦点を当てたメンバーシップインファレンス（MI）研究のギャップを埋えること。
• モデルの更新と分布シフトがMIリスクに与える影響を、新規データで再トレーニングされる生産環境における状況を想定して調査すること。
• 元モデルと更新済みモデルからの単体MI信頼度スコアを活用し、攻撃効果を向上させる新しい組み合わせ関数の開発と評価を行うこと。
• 提案された攻撃を既存のMI攻撃および機械学習のアンラーニングに基づく攻撃と比較し、現実的な脅威モデル下での優れた性能を示すこと。
• 分布シフトがMIリスクに与える影響を測定し、急激なシフトが段階的シフトよりもプライバシー漏洩を顕著に増大させることを示すこと。

提案手法

• 本手法は、LiRAなどの最先端の攻撃を用いて、元のモデルと更新済みモデルの両方で単体のメンバーシップインファレンス信頼度スコアを計算する。
• 信頼度スコアを元のモデルと更新済みモデルから統合する組み合わせ関数（ScoreDiffおよび／）を導入し、より判別力の高い統合テスト統計量を生成する。
• 攻撃は、組み合わせ関数のしきい値を設定するために単一のシャロウモデルを用いる。これにより、複雑なアンサンブル学習の必要性が回避される。
• 本手法はブラックボックス設定を想定しており、学習データやモデルパラメータへのアクセスを一切不要とし、出力（例：分類確率）のみを必要とする。
• 理論的裏付けをもとに、複数の公開データセットを用いた実験により、更新サイズや分布シフトの変動に応じた理論的妥当性と実証的妥当性を検証した。
• 著者らはChenら[9]のSortedDiff攻撃を適応・比較し、提案手法の特徴量が学習済み攻撃モデルにおいてSortedDiffの特徴量よりも7.5倍も影響力が大きいことを示した。

実験結果

リサーチクエスチョン

• RQ1 元モデルと更新済みモデルからの情報を統合することで、メンバーシップインファレンス攻撃の性能をどのように向上させられるか？
• RQ2 更新済みモデルにおける分布シフトがメンバーシップインファレンスリスクに与える影響は何か？
• RQ3 複数のモデルバージョンからの信頼度スコアを統合する際、単一のシャロウモデルで十分な攻撃性能を達成できるか？
• RQ4 提案された組み合わせ関数（ScoreDiffおよび／）は、機械学習のアンラーニング分野における既存の攻撃と比較して、どのように異なるか？
• RQ5 更新セットのサイズがモデル更新設定におけるメンバーシップインファレンス攻撃の有効性に与える影響は何か？

主な発見

• 提案されたScoreDiffおよび／攻撃は、単一のシャロウモデルを用いても、Chenら[9]のSortedDiffを含む先行研究を常に上回る性能を発揮する。
• ベースライン手法と比較して、AUCが著しく高い水準に達しており、特に小さな更新セットや極端な分布シフトの下で顕著な性能向上が見られる。
• 学習済み攻撃モデルにおける提案テスト統計量の平均重みは、SortedDiff特徴量の7.5倍にのぼり、より高い判別力を持っていることを示している。
• 急激な分布シフトはMIリスクを著しく増大させる。これは、モデルが新規データに過剰適合する必要があるため、記憶化が強化され、攻撃成功確率が上昇するためである。
• SGD-Newで更新されたモデルは、小さな更新セットと高い分布シフトの下では、SGD-Fullで更新されたモデルよりも脆弱であるが、更新セットが大きくなるとこの傾向は逆転する。
• 本研究は、モデル更新設定における分布シフトがMI攻撃に与える影響を、初めて実証的に測定した。その結果、シフトの深刻さと攻撃効果性の間には強い相関関係があることが明らかになった。