[论文解读] Decentralized Attribution of Generative Models

Changhoon Kim, Yi Ren+1 more|arXiv (Cornell University)|Oct 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 6

一句话总结

本文提出一种基于用户特定密钥的生成模型去中心化归属方案，实现可扩展、可证明可靠的模型识别。通过设计满足几何条件的密钥，确保可区分性和可归属性，该方法在保持生成质量的同时，能保证对生成内容的正确分类，即使在对抗性后处理下也具备鲁棒性。

ABSTRACT

Growing applications of generative models have led to new threats such as malicious personation and digital copyright infringement. One solution to these threats is model attribution, i.e., the identification of user-end models where the contents under question are generated from. Existing studies showed empirical feasibility of attribution through a centralized classifier trained on all user-end models. However, this approach is not scalable in reality as the number of models ever grows. Neither does it provide an attributability guarantee. To this end, this paper studies decentralized attribution, which relies on binary classifiers associated with each user-end model. Each binary classifier is parameterized by a user-specific key and distinguishes its associated model distribution from the authentic data distribution. We develop sufficient conditions of the keys that guarantee an attributability lower bound. Our method is validated on MNIST, CelebA, and FFHQ datasets. We also examine the trade-off between generation quality and robustness of attribution against adversarial post-processes.

研究动机与目标

• 解决集中式模型归属方法中存在的可扩展性不足与归属保证缺失问题。
• 实现在无需依赖对所有模型进行训练的中心化分类器的前提下，去中心化、用户特定的模型归属。
• 为用户特定密钥提供充分条件，以确保在多个模型中归属性的下限。
• 在归属系统中平衡生成质量与对抗性后处理的鲁棒性。
• 开发一个可实际部署的模型归属框架，具备可验证的保证。

提出的方法

• 使用由用户特定密钥参数化的二元线性分类器，以区分用户端模型与真实数据分布。
• 将模型的可区分性定义为其关联分类器在识别生成样本与真实数据方面的准确率。
• 建立密钥的充分条件：密钥之间的互角必须超过一个与数据相关的阈值（例如，MNIST、CelebA、FFHQ为90°），以确保可归属性。
• 通过数据敏感性矩阵 M 的特征向量计算密钥，其中较小的特征值对应于敏感度较低的方向，生成质量更优。
• 引入 FID 分数（生成质量）与对抗性后处理鲁棒性之间的权衡分析。
• 使用输出均值扰动的 l2 范数来量化与原始模型生成质量的偏离程度。

实验结果

研究问题

• RQ1 用户特定密钥需满足何种充分条件，才能确保多个用户端模型集体归属性的下限？
• RQ2 如何设计密钥，以在确保模型可区分性与可归属性的前提下，维持高生成质量？
• RQ3 在对生成内容进行对抗性后处理时，该归属系统能在多大程度上保持鲁棒性？
• RQ4 密钥方向（敏感性矩阵 M 的小特征向量）与生成质量之间存在何种关系？
• RQ5 对密钥角度施加的几何约束，如何影响系统正确归属生成内容的能力？

主要发现

• 互角大于 90° 的密钥可确保可归属性的保证下限，该阈值对 MNIST、CelebA 和 FFHQ 均足够。
• 密钥对齐于敏感性矩阵 M 的小特征向量与最大扰动（d_max）减小之间的皮尔逊相关系数，在 MNIST 中为 0.33，在 CelebA 中为 0.53。
• 使用 M 的最大特征向量作为密钥可获得更高质量的生成结果，而使用最小特征向量则产生类似随机噪声的输出。
• 通过相同的密钥设计规则，可在对抗性后处理下实现鲁棒归属，尽管生成质量存在可测量的权衡。
• 在所提条件下，该方法能保持生成内容的一对一分类结果为 1-热编码向量，真实数据则为零向量，确保正确归属。
• 所提方案实现了去中心化、可扩展的模型归属，并具备可证明的保证，而集中式方法则缺乏此类保证。