[论文解读] Dataset Inference for Self-Supervised Models

Adam Dziedzic, Haonan Duan+6 more|arXiv (Cornell University)|Sep 16, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种自监督模型中的数据集推理方法，通过利用特征空间距离来识别样本可能源自的数据集。结果表明，仅使用在某一数据集上训练的模型，即可对其他数据集中的样本实现源分布的推理，利用学习到的表征在CIFAR-100和SVHN上实现了高达71%的准确率。

ABSTRACT

Self-supervised models are increasingly prevalent in machine learning (ML) since they reduce the need for expensively labeled data. Because of their versatility in downstream applications, they are increasingly used as a service exposed via public APIs. At the same time, these encoder models are particularly vulnerable to model stealing attacks due to the high dimensionality of vector representations they output. Yet, encoders remain undefended: existing mitigation strategies for stealing attacks focus on supervised learning. We introduce a new dataset inference defense, which uses the private training set of the victim encoder model to attribute its ownership in the event of stealing. The intuition is that the log-likelihood of an encoder's output representations is higher on the victim's training data than on test data if it is stolen from the victim, but not if it is independently trained. We compute this log-likelihood using density estimation models. As part of our evaluation, we also propose measuring the fidelity of stolen encoders and quantifying the effectiveness of the theft detection without involving downstream tasks; instead, we leverage mutual information and distance measurements. Our extensive empirical results in the vision domain demonstrate that dataset inference is a promising direction for defending self-supervised models against model stealing.

研究动机与目标

• 探究自监督模型是否能够在无显式标签的情况下，仅基于图像样本的特征表示准确推断其来源数据集。
• 评估自监督表征在识别跨数据集分布偏移方面的泛化能力。
• 量化不同模型和编码器在多个基准数据集上的数据集推理任务中的性能表现。
• 探索模型架构、特征空间距离与数据集识别准确率之间的关系。

提出的方法

• 该方法使用学习到的特征编码器 $ f_v $ 从输入图像中提取表征。
• 计算样本编码特征与训练集中每个数据集均值特征之间的距离 $ d(\cdot, f_v) $。
• 将距离最小的数据集预测为输入样本的来源。
• 该方法在多个数据集上进行评估：CIFAR10、SVHN、STL10和ImageNet，使用不同的编码器和模型。
• 该方法依赖于假设：同一数据集的特征在嵌入空间中聚集紧密。
• 性能通过在特征空间中使用最近邻策略预测数据集的分类准确率进行衡量。

实验结果

研究问题

• RQ1 自监督模型是否能够仅基于其特征表示，准确推断图像样本的源数据集？
• RQ2 在CIFAR10、SVHN和ImageNet等不同基准数据集上，数据集推理的性能如何变化？
• RQ3 不同模型架构（例如 $ f_s $、$ f_i $）对数据集推理准确率有何影响？
• RQ4 在多个随机种子和数据划分下，结果的一致性如何？
• RQ5 特征空间距离在多大程度上与真实数据集归属相关？

主要发现

• 使用 $ f_i $ 编码器在CIFAR-100上实现了71% ± 0.001的推理准确率，表明在相似数据集之间具有强大的泛化能力。
• 在SVHN上，使用 $ f_i $ 编码器的方法达到了71% ± 0.007的准确率，显示出在较小且独特的数据集上的鲁棒性。
• 在CIFAR10上，$ f_i $ 编码器实现了70% ± 0.01的准确率，表明在多个基准测试中表现一致。
• $ f_s $ 编码器性能较低，在SVHN上准确率为49% ± 0.007，表明架构差异显著影响推理能力。
• $ f_i $ 编码器在SVHN上实现了55% ± 0.04的准确率，表明在相同设置下该数据集上的表现中等。
• 结果表明，特征空间距离 $ d(\cdot, f_v) $ 能够有效预测数据集归属，当模型在相似数据分布上预训练时，准确率更高。