[論文レビュー] Dataset Inference for Self-Supervised Models

Adam Dziedzic, Haonan Duan+6 more|arXiv (Cornell University)|Sep 16, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、特徴空間内の距離を活用して、サンプルがどのデータセットから起因するかを特定する手法を提案する。自己教師ありモデルで学習した特徴表現を用いることで、あるデータセットで学習したモデルが、他のデータセットからのサンプルの元データ分布を高い精度（CIFAR-100およびSVHNで最大71％）で一般化して同定できることを示している。

ABSTRACT

Self-supervised models are increasingly prevalent in machine learning (ML) since they reduce the need for expensively labeled data. Because of their versatility in downstream applications, they are increasingly used as a service exposed via public APIs. At the same time, these encoder models are particularly vulnerable to model stealing attacks due to the high dimensionality of vector representations they output. Yet, encoders remain undefended: existing mitigation strategies for stealing attacks focus on supervised learning. We introduce a new dataset inference defense, which uses the private training set of the victim encoder model to attribute its ownership in the event of stealing. The intuition is that the log-likelihood of an encoder's output representations is higher on the victim's training data than on test data if it is stolen from the victim, but not if it is independently trained. We compute this log-likelihood using density estimation models. As part of our evaluation, we also propose measuring the fidelity of stolen encoders and quantifying the effectiveness of the theft detection without involving downstream tasks; instead, we leverage mutual information and distance measurements. Our extensive empirical results in the vision domain demonstrate that dataset inference is a promising direction for defending self-supervised models against model stealing.

研究の動機と目的

• 自己教師ありモデルが明示的なラベルなしに、与えられた画像サンプルの元データセットを正確に同定できるかを調査すること。
• 自己教師あり表現の一般化能力が、複数のデータセット間での分布シフトを同定する能力に与える影響を評価すること。
• 複数のベンチマークデータセットで、異なるモデルやエンコーダーの性能を定量的に評価すること。
• モデルアーキテクチャ、特徴空間の距離、およびデータセット同定精度との関係を調査すること。

提案手法

• 本手法は、入力画像から特徴表現を抽出する学習済み特徴エンコーダー $ f_v $ を使用する。
• 各データセットのトレーニングセットにおける平均特徴と、サンプルの符号化特徴との距離 $ d(\cdot, f_v) $ を計算する。
• 最も距離が小さいデータセットを、入力サンプルの元データセットとして予測する。
• CIFAR10、SVHN、STL10、ImageNetの複数のデータセットに対して、異なるエンコーダーとモデルを用いて評価を実施する。
• 本手法は、同じデータセットからの特徴が埋め込み空間内で密にクラスタリングされることを仮定している。
• 分類精度を指標として、特徴空間における最近傍探索戦略を用いて予測されたデータセットの正解率を測定する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルは、特徴表現のみに依存して、画像サンプルの元データセットを正確に同定できるか？
• RQ2 CIFAR10、SVHN、ImageNetなどの異なるベンチマークデータセットにおいて、データセット同定の性能はどのように変化するか？
• RQ3 モデルアーキテクチャ（例：$ f_s $、$ f_i $）の違いが、データセット同定精度に与える影響は何か？
• RQ4 複数のランダムシードおよびデータ分割に対して、結果はどれほど一貫性を示すか？
• RQ5 特徴空間の距離が、真のデータセット所属関係とどれほど相関しているか？

主な発見

• CIFAR-100では、$ f_i $ エンコーダーを用いて71% ± 0.001のデータセット同定精度を達成し、類似したデータセット間での強力な一般化を示している。
• SVHNでは、$ f_i $ エンコーダーを用いて71% ± 0.007の精度に達し、より小さい・特徴の異なるデータセットに対しても頑健であることが示された。
• CIFAR10では、$ f_i $ エンコーダーが70% ± 0.01の精度を達成し、複数のベンチマークで一貫性のある性能を示している。
• $ f_s $ エンコーダーは低い性能を示し、SVHNでは49% ± 0.007の精度にとどまり、アーキテクチャの違いが推定能力に顕著に影響することが示された。
• $ f_i $ エンコーダーは、同じ設定下でSVHNで55% ± 0.04の精度を達成し、中程度の性能であることが示された。
• 結果から、特徴空間の距離 $ d(\cdot, f_v) $ がデータセット所属を予測可能であり、特に同じ分布のデータで事前学習されたモデルでは精度が高くなることが明らかになった。