[论文解读] HARMONIC: Harnessing LLMs for Tabular Data Synthesis and Privacy Protection

Yuxin Wang, Duanyu Feng+6 more|arXiv (Cornell University)|Aug 6, 2024

Advanced Data Storage Technologies被引用 4

一句话总结

HARMONIC 提出了一种新颖的框架，通过借鉴 k-近邻（kNN）提示策略建模样本间关系，利用指令微调的大规模语言模型（LLM）生成高质量且具备隐私保护特性的合成表格数据。该方法在下游 LLM 任务中表现接近真实数据，同时显著降低了隐私泄露风险，经由新提出的 DLT（数据泄露测试）和 LLE（LLM 效率）指标验证。

ABSTRACT

Data serves as the fundamental foundation for advancing deep learning, particularly tabular data presented in a structured format, which is highly conducive to modeling. However, even in the era of LLM, obtaining tabular data from sensitive domains remains a challenge due to privacy or copyright concerns. Hence, exploring how to effectively use models like LLMs to generate realistic and privacy-preserving synthetic tabular data is urgent. In this paper, we take a step forward to explore LLMs for tabular data synthesis and privacy protection, by introducing a new framework HARMONIC for tabular data generation and evaluation. In the tabular data generation of our framework, unlike previous small-scale LLM-based methods that rely on continued pre-training, we explore the larger-scale LLMs with fine-tuning to generate tabular data and enhance privacy. Based on idea of the k-nearest neighbors algorithm, an instruction fine-tuning dataset is constructed to inspire LLMs to discover inter-row relationships. Then, with fine-tuning, LLMs are trained to remember the format and connections of the data rather than the data itself, which reduces the risk of privacy leakage. In the evaluation part of our framework, we develop specific privacy risk metrics DLT for LLM synthetic data generation, as well as performance evaluation metrics LLE for downstream LLM tasks. Our experiments find that this tabular data generation framework achieves equivalent performance to existing methods with better privacy, which also demonstrates our evaluation framework for the effectiveness of synthetic data and privacy risks in LLM scenarios.

研究动机与目标

• 解决由于隐私和监管限制，从敏感领域生成真实表格数据的挑战。
• 克服基于 LLM 的数据合成中固有的隐私风险，即模型可能记忆并泄露训练数据。
• 开发一种框架，使 LLM 能够在不记忆真实数据实例的情况下生成合成表格数据。
• 提出针对评估合成数据在下游 LLM 任务中的表现和隐私风险的新型评估指标。
• 证明当经过适当微调和评估后，基于 LLM 的合成数据既具有效性又具备隐私安全性。

提出的方法

• 构建一个受 k-近邻（kNN）启发的指令微调数据集，以引导 LLM 学习表格数据中的样本间关系。
• 在基于 kNN 的指令数据集上微调大规模 LLM，使其记忆数据结构和关系，而非原始数据值。
• 利用微调后的 LLM 通过自回归方式预测标记，同时保持特征级和行级依赖关系，生成合成表格数据。
• 提出 DLT（数据泄露测试）作为新指标，通过测量从合成输出中重建真实数据的可能性来量化隐私风险。
• 引入 LLE（LLM 效率）作为指标，用于评估合成数据在下游 LLM 任务（如微调和推理）中的有效性。
• 将该框架应用于四个真实世界的表格数据集进行分类任务，与多种基线方法比较性能和隐私表现。

实验结果

研究问题

• RQ1 指令微调后的 LLM 是否能够生成保留数据结构和关系但不记忆真实样本的合成表格数据？
• RQ2 与现有方法相比，LLM 生成的合成数据在重建攻击下的隐私风险如何？
• RQ3 LLM 生成的合成数据在下游 LLM 任务中的表现与真实数据相比有多大程度的可比性？
• RQ4 所提出的评估指标 DLT 和 LLE 是否能有效量化基于 LLM 的合成表格数据的隐私性和实用性？
• RQ5 与基线 LLM 方法相比，kNN 启发的微调策略是否能提升合成数据生成的一致性和可靠性？

主要发现

• HARMONIC 生成的合成数据在下游 LLM 任务中表现与真实数据相当，四个数据集的平均性能下降不足 5%。
• 在 DI 数据集上，HARMONIC 的 LLM 效率（LLE）表现优于真实训练集，表明其具备强大的下游实用性。
• 在所有数据集中，HARMONIC 在三项隐私指标（NRS、DCR、DLT）上均取得最佳或第二名成绩，DLT 指标显示其数据泄露风险显著更低。
• 该方法表现出更优的稳定性，其性能在多次运行中的标准差低于 GReaT 和 RTF，表明生成过程具有一致性和可靠性。
• 传统合成数据方法（如 SMOTE 和 TVAE）在下游 LLM 任务中表现较差，表明其不适合用于 LLM 微调。
• 该框架的设计天然具备抵抗重建攻击的能力，因为攻击者几乎需要完整的 k-近邻集合（k=5）才能重建单条记录，而 GReaT 等方法则容易遭受部分记录重建攻击。