[论文解读] Access Control Using Spatially Invariant Permutation of Feature Maps for Semantic Segmentation Models

Hiroki Ito, AprilPyone MaungMaung+1 more|arXiv (Cornell University)|Sep 3, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

本文提出一种新颖的访问控制方法，通过秘密密钥对特征图进行空间不变的置换，应用于语义分割模型。该方法使拥有正确密钥的授权用户可实现接近原生性能，而未授权用户因缺乏密钥导致精度严重下降，充分展示了对语义分割模型的强保护能力——此前在基于密钥的访问控制方法中尚未涉及此问题。

ABSTRACT

In this paper, we propose an access control method that uses the spatially invariant permutation of feature maps with a secret key for protecting semantic segmentation models. Segmentation models are trained and tested by permuting selected feature maps with a secret key. The proposed method allows rightful users with the correct key not only to access a model to full capacity but also to degrade the performance for unauthorized users. Conventional access control methods have focused only on image classification tasks, and these methods have never been applied to semantic segmentation tasks. In an experiment, the protected models were demonstrated to allow rightful users to obtain almost the same performance as that of non-protected models but also to be robust against access by unauthorized users without a key. In addition, a conventional method with block-wise transformations was also verified to have degraded performance under semantic segmentation models.

研究动机与目标

• 解决语义分割模型缺乏访问控制机制的问题，这些模型日益重要但易遭窃取和滥用。
• 将此前仅限于图像分类任务的基于密钥的模型保护方法，拓展至语义分割领域。
• 确保仅持有正确秘密密钥的用户可完整访问模型性能，而未授权用户则面临显著性能下降。
• 设计一种具有空间不变性的保护机制，以保持分割输出的结构完整性。

提出的方法

• 该方法在训练和推理阶段，利用秘密密钥对全卷积网络（FCN）中选定的特征图进行置换，该网络以ResNet-50为骨干网络。
• 置换在特征图上空间均匀应用，确保空间不变性，这对保持分割图质量至关重要。
• 秘密密钥决定置换模式，仅持有正确密钥的用户才能逆向变换以恢复原始特征图顺序。
• 该方法在语义分割任务上进行评估，以平均交并比（mIoU）为主要指标。
• 将该方法与原本专为图像分类设计的常规块级变换方法（SHF, NP, FFX）进行对比。
• 模型在密钥依赖的置换下进行训练，并在三种条件下进行测试：正确密钥、无置换和错误密钥。

实验结果

研究问题

• RQ1 是否可有效将基于密钥的访问控制机制应用于语义分割模型，而该类模型需要空间不变的变换？
• RQ2 与未受保护的模型相比，所提出的具有空间不变性的置换方法对授权用户的分割性能有何影响？
• RQ3 当使用错误或缺失密钥访问时，模型性能会下降到何种程度？
• RQ4 在语义分割背景下，所提出的方法与传统块级变换方法（如SHF, NP, FFX）相比表现如何？
• RQ5 该方法对未授权访问尝试（包括密钥估计攻击）是否具备鲁棒性？

主要发现

• 在正确密钥条件下，所提方法的平均IoU达到0.5888，与基线未受保护模型的0.5966性能非常接近。
• 在错误密钥条件下，平均IoU降至0.0000，表明未授权用户分割性能完全崩溃。
• 在无任何置换条件下（No-perm）测试时，模型性能仍较低（mIoU = 0.1595），证实即使在无密钥使用时，该保护机制依然有效。
• 传统块级变换方法（SHF, NP, FFX）在语义分割任务上表现显著下降，错误密钥下mIoU接近零，且在较大块尺寸下即使使用正确密钥，性能也维持在较低水平。
• 在所有块尺寸下，所提方法均优于传统方法，传统方法中表现最佳的块尺寸（2）仅达到0.5447 mIoU，而所提方法达到0.5888。
• 图6的可视化结果证实，仅持有正确密钥的授权用户能生成连贯且准确的分割图，而未授权用户则产生无意义的输出。