[论文解读] Auditing and Generating Synthetic Data with Controllable Trust Trade-offs

Brian Belgodere, Pierre Dognin+12 more|arXiv (Cornell University)|Apr 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一套综合性的合成数据审计框架，从保真度、效用、隐私、公平性和鲁棒性等多个维度评估合成数据的可信度，采用可调控的可信度指数指导模型选择。该研究引入了TrustFormers——通过可信度驱动的交叉验证训练的可微分生成模型，在不同数据集（如法学院、医疗保健）中表现出色，且在各种权衡条件下均表现优异；当考虑不确定性时，合成数据在10项加权评估中的6项中排名第一。

ABSTRACT

Real-world data often exhibits bias, imbalance, and privacy risks. Synthetic datasets have emerged to address these issues. This paradigm relies on generative AI models to generate unbiased, privacy-preserving data while maintaining fidelity to the original data. However, assessing the trustworthiness of synthetic datasets and models is a critical challenge. We introduce a holistic auditing framework that comprehensively evaluates synthetic datasets and AI models. It focuses on preventing bias and discrimination, ensures fidelity to the source data, assesses utility, robustness, and privacy preservation. We demonstrate the framework's effectiveness by auditing various generative models across diverse use cases like education, healthcare, banking, and human resources, spanning different data modalities such as tabular, time-series, vision, and natural language. This holistic assessment is essential for compliance with regulatory safeguards. We introduce a trustworthiness index to rank synthetic datasets based on their safeguards trade-offs. Furthermore, we present a trustworthiness-driven model selection and cross-validation process during training, exemplified with "TrustFormers" across various data types. This approach allows for controllable trustworthiness trade-offs in synthetic data creation. Our auditing framework fosters collaboration among stakeholders, including data scientists, governance experts, internal reviewers, external certifiers, and regulators. This transparent reporting should become a standard practice to prevent bias, discrimination, and privacy violations, ensuring compliance with policies and providing accountability, safety, and performance guarantees.

研究动机与目标

• 解决在多样化模态和监管要求下，合成数据缺乏全面、多维审计的问题。
• 开发统一的可信度指数，量化隐私、公平性和效用等关键保护措施之间的权衡。
• 通过基于可信度指数的模型选择和交叉验证，实现在合成数据生成中可控的可信度。
• 通过提供透明、可审计的合成数据，确保符合欧盟人工智能法案和美国算法问责法案等不断演进的人工智能法规。
• 通过标准化报告和风险透明化，促进监管机构、数据科学家和治理团队等利益相关方之间的协作。

提出的方法

• 提出一个综合审计框架，从保真度、效用、隐私、公平性和鲁棒性五个可信支柱评估合成数据。
• 引入可信度指数，聚合各可信维度的加权得分，支持权衡分析。
• 在训练过程中采用可信度驱动的交叉验证流程，选择满足特定保护措施权衡的模型。
• 开发TrustFormers——通过针对特定可信度指数配置优化损失函数训练的可微分生成模型。
• 采用不确定性感知评估方法，使用 $ R^{ au}_{ au} $ 对合成数据进行排序，以应对统计波动，提升排名的可靠性。
• 在表格、时间序列、视觉和自然语言处理等多种模态的真实世界数据集上验证框架，涵盖教育、医疗、银行和人力资源等应用场景。

实验结果

研究问题

• RQ1 如何同时从保真度、效用、隐私、公平性和鲁棒性等多个可信维度对合成数据进行综合审计？
• RQ2 在合成数据生成中，如何有效量化并控制竞争性可信目标之间的权衡？
• RQ3 可信度指数能否提升模型选择和交叉验证，从而生成更可靠且合规的合成数据？
• RQ4 在数据划分中考虑不确定性，如何影响合成数据性能的排名和可靠性？
• RQ5 在受控的可信度权衡下，TrustFormers在多大程度上优于现有基线模型（如SDV、DP-GAN、PATE-GAN）？

主要发现

• 在法学院数据集上，使用可信度指数训练的TrustFormers在10种加权配置中的6种中表现优于其他合成数据，且平均可信度指数最高。
• 当使用 $ R^{ au}_{ au} $ 考虑不确定性后，TrustFormers生成的合成数据在排行榜中重新夺魁，表明其对数据划分变异具有强鲁棒性。
• 私有化的TrustFormers在 $ ho = 3 $ 和 $ ho = 1 $ 条件下，分别获得最高的可信度指数得分（分别为39和38），甚至优于非私有的基线模型SDV-CTGAN。
• 该框架成功识别出如DP-GAN在 $ ho = 3 $ 时实现近乎完美的隐私保护，但效用性和公平性显著下降，凸显了其中的权衡关系。
• 可信度指数在多样化模态和应用场景中有效对合成数据进行排序，TrustFormers在所有评估中均稳定位列前10%。
• 引入不确定性感知评估后，排名波动性降低，表明TrustFormers在数据划分的统计波动下仍能保持高性能。