[论文解读] Not All Datasets Are Born Equal: On Heterogeneous Data and Adversarial Examples

Yael Mathov, Eden Levy+3 more|arXiv (Cornell University)|Oct 7, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用 10

一句话总结

本文提出了一种通用的优化框架，用于在异构表格数据中生成最小且有效的对抗性样本，通过将特征嵌入连续潜在空间并施加分布感知约束。结果表明，此类数据上的模型与同质数据上的模型一样容易受到对抗性攻击，且在三个真实世界数据集上均实现了高达99.8%的成功率，同时仅使用极低的ℓ₀扰动。

ABSTRACT

Recent work on adversarial learning has focused mainly on neural networks and domains where those networks excel, such as computer vision, or audio processing. The data in these domains is typically homogeneous, whereas heterogeneous tabular datasets domains remain underexplored despite their prevalence. When searching for adversarial patterns within heterogeneous input spaces, an attacker must simultaneously preserve the complex domain-specific validity rules of the data, as well as the adversarial nature of the identified samples. As such, applying adversarial manipulations to heterogeneous datasets has proved to be a challenging task, and no generic attack method was suggested thus far. We, however, argue that machine learning models trained on heterogeneous tabular data are as susceptible to adversarial manipulations as those trained on continuous or homogeneous data such as images. To support our claim, we introduce a generic optimization framework for identifying adversarial perturbations in heterogeneous input spaces. We define distribution-aware constraints for preserving the consistency of the adversarial examples and incorporate them by embedding the heterogeneous input into a continuous latent space. Due to the nature of the underlying datasets We focus on $\ell_0$ perturbations, and demonstrate their applicability in real life. We demonstrate the effectiveness of our approach using three datasets from different content domains. Our results demonstrate that despite the constraints imposed on input validity in heterogeneous datasets, machine learning models trained using such data are still equally susceptible to adversarial examples.

研究动机与目标

• 为解决异构表格数据中对抗性样本研究的缺乏问题，尽管此类数据在现实应用中普遍存在，但该领域仍鲜有探索。
• 克服生成能保持复杂数据有效性规则（如特征相关性、领域特定约束和不可变特征）的对抗性样本的挑战。
• 开发一种通用的、与模型无关的攻击方法，专注于ℓ₀扰动，以确保现实可行性并最小化特征修改。
• 评估对抗性样本在多种模型（包括GBM和随机森林等树模型）之间的可迁移性，这些模型常用于表格数据。
• 证明即使在严格的数据异质性约束下，表格数据上的机器学习模型依然对对抗性操纵高度敏感。

提出的方法

• 通过分布感知约束正式化数据有效性，以保留特征相关性并尊重不可变特征。
• 使用可微分变换函数将异构表格输入嵌入连续潜在空间，以支持基于梯度的优化。
• 基于代理模型梯度（或目标模型特征重要性）采用迭代特征选择策略，识别对最小ℓ₀扰动最具影响力的特征。
• 通过约束优化来优化对抗性样本，确保扰动在语义上有效且与原始数据分布一致。
• 采用ℓ₀攻击公式以最小化被修改特征的数量，与现实可行性保持一致，即修改大量特征在实际中不切实际。
• 通过在代理模型上生成对抗性样本并在多种目标模型上测试其成功率来评估可迁移性，包括树基学习器。

实验结果

研究问题

• RQ1 能否在保持数据有效性和现实可行性的同时，有效生成异构表格数据的对抗性样本？
• RQ2 在现实应用中，与其它距离度量相比，ℓ₀扰动在最小化特征修改方面有何优势？
• RQ3 在代理模型上构建的对抗性样本在GBM、随机森林和决策树等树基模型上的可迁移性如何？
• RQ4 分布感知约束如何影响异构输入空间中的优化过程及生成对抗性样本的有效性？
• RQ5 在异构表格数据上训练的模型对对抗性攻击的敏感性是否与在同质数据（如图像或音频）上训练的模型相当？

主要发现

• 所提方法成功生成了低ℓ₀扰动（如HCDR上为1.60，Airbnb上为4.33）的对抗性样本，同时保持了数据有效性，并实现了高攻击成功率（HCDR上为98.20%，Airbnb上为99.80%）。
• 对抗性样本在树基模型上的可迁移性显著，基础成功率在14.42%至38.29%之间，当特征选择策略根据目标模型的特征重要性调整后，成功率显著提升至最高60.53%。
• 该攻击框架在不同领域（医疗保健：HCDR，ICU：ICU，房地产：Airbnb）中均表现有效，证明了其广泛适用性。
• 尽管存在复杂的约束（如不可变特征和跨特征交互），该方法仍保持高成功率，证明表格数据模型与同质数据模型一样易受攻击。
• 潜在空间嵌入使在异构输入空间中实现有效的基于梯度的优化成为可能，克服了混合数据类型和非连续特征空间的挑战。
• 本研究确立了表格数据中的对抗脆弱性并非模型架构的产物，而是一个根植于数据异质性和模型敏感性的系统性问题。