[论文解读] PersonaTrace: Synthesizing Realistic Digital Footprints with LLM Agents
PersonaTrace 提出一个端到端框架，使用大语言模型代理人从人口画像合成真实的多捆数字足迹，并在与以往合成数据相比的实际任务上显示出更好的下游泛化能力。
Digital footprints (records of individuals' interactions with digital systems) are essential for studying behavior, developing personalized applications, and training machine learning models. However, research in this area is often hindered by the scarcity of diverse and accessible data. To address this limitation, we propose a novel method for synthesizing realistic digital footprints using large language model (LLM) agents. Starting from a structured user profile, our approach generates diverse and plausible sequences of user events, ultimately producing corresponding digital artifacts such as emails, messages, calendar entries, reminders, etc. Intrinsic evaluation results demonstrate that the generated dataset is more diverse and realistic than existing baselines. Moreover, models fine-tuned on our synthetic data outperform those trained on other synthetic datasets when evaluated on real-world out-of-distribution tasks.
研究动机与目标
- 解决跨多模态（电子邮件、消息、日历等）数字足迹数据稀缺问题。
- 开发一个端到端、以人物为驱动的管道，以生成连贯的事件及相应产物。
- 证明合成足迹在内在多样性/真实感与外在效用方面的价值，以服务下游任务。
提出的方法
- 三代理人管线：人物代理人构建丰富的人口统计画像；事件代理人将画像扩展为 plausibly 的事件森林；产物生成代理人创建数字产物（电子邮件、消息、日历、提醒），Critic 代理人提供迭代反馈以提升真实感和一致性。
- 事件记忆与与画像对齐的检索：事件代理人使用种子事件记忆（PersonaHub）和嵌入检索将事件与画像对齐，然后递归扩展成最多 300 节点的事件森林。
- 产物的生成–评论循环：产物由产物生成代理人起草，经由三个 Critic 代理人就一致性、真实感和流畅度进行评议并 refine，重复直到达到质量标准。
实验结果
研究问题
- RQ1一个以人物为驱动的多代理框架是否能够在多模态上生成多样且真实的数字足迹？
- RQ2在 PersonaTrace 上微调的模型是否在分布外的真实世界任务上优于在其他合成数据集上训练的模型？
- RQ3基于代理的生成与基于模板的基线在合成数据质量上的内在与外在影响有何差异？
- RQ4产物与底层人物画像及事件森林的一致性与全球一致性有多高？
主要发现
- 与基线相比，PersonaTrace 管线在合成足迹的多样性和真实感评价上表现更高。
- 在四个真实世界的分布外任务（邮件分类、邮件起草、问答、下一条消息预测）上，微调后的 PersonaTrace 模型达到具有竞争力或优越的性能。
- 基于代理的生成在多样性、真实感和下游任务性能方面优于消融/模板基线。
- 内在评估表明 PersonaTrace 在合成数据和真实数据集上均获得较高的 LLM 评判分，反映真实感和语言质量。
- 消融显示去除代理会降低多样性、真实感和下游任务性能，突显多代理体系的益处。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。