[논문 리뷰] PersonaTrace: Synthesizing Realistic Digital Footprints with LLM Agents

Minjia Wang, Yunfeng Wang외 10명|arXiv (Cornell University)|2026. 03. 12.

Persona Design and Applications인용 수 0

한 줄 요약

PersonaTrace는 인구통계 페르소나에서 현실적이고 다중 번들 디지털 흔적을 합성하기 위해 LLM 에이전트를 활용하는 엔드투엔드 프레임워크를 제시하며, 이전 합성 데이터에 비해 실제 세계 과제에서 다운스트림 일반화가 향상됨을 보인다.

ABSTRACT

Digital footprints (records of individuals' interactions with digital systems) are essential for studying behavior, developing personalized applications, and training machine learning models. However, research in this area is often hindered by the scarcity of diverse and accessible data. To address this limitation, we propose a novel method for synthesizing realistic digital footprints using large language model (LLM) agents. Starting from a structured user profile, our approach generates diverse and plausible sequences of user events, ultimately producing corresponding digital artifacts such as emails, messages, calendar entries, reminders, etc. Intrinsic evaluation results demonstrate that the generated dataset is more diverse and realistic than existing baselines. Moreover, models fine-tuned on our synthetic data outperform those trained on other synthetic datasets when evaluated on real-world out-of-distribution tasks.

연구 동기 및 목표

• 다양한 모듈(이메일, 메시지, 일정 등) 전반의 디지털 흔적 데이터 부족 문제 해결.
• 일관된 이벤트와 대응 아티팩트를 생성하는 엔드투엔드 페르소나 주도 파이프라인 개발.
• 합성 흔적의 내재적 다양성/현실성 및 다운스트림 과제에 대한 외재적 활용성 입증.

제안 방법

• 세 가지 에이전트 파이프라인: 페르소나 에이전트가 풍부한 인구통계적 페르소나를 구축; 이벤트 에이전트가 페르소나를 그럴듯한 이벤트의 숲으로 확장; 아티팩트 제너레이터 에이전트가 디지털 아티팩트(이메일, 메시지, 일정, 알림)를 생성하고, 현실성과 일관성에 대한 반복적인 피드백을 제공하는 크리틱 에이전트들.
• 이벤트 기억 및 페르소나 정렬 검색: 이벤트 에이전트가 시드 이벤트 기억(PessoaHub)과 임베딩 검색을 사용해 이벤트를 페르소나에 맞추고, 300노드로 제한된 이벤트 숲으로 재귀적으로 확장.
• 아티팩트의 제너레이터–크리틱 루프: 아티팩트는 아티팩트 제너레이터 에이전트에 의해 초안 작성되고, 일관성, 현 realism, 유창성에 초점을 맞춘 세 크리틱 에이전트의 비판을 통해 개선되며, 품질 기준에 도달할 때까지 반복된다.

실험 결과

연구 질문

• RQ1 페르소나 주도 다중 에이전트 프레임워크가 여러 모듈에 걸쳐 다양하고 현실적인 디지털 흔적을 생성할 수 있는가?
• RQ2 PersonaTrace에 파인튜닝된 모델이 다른 합성 데이터셋에서 훈련된 모델보다 보편적이지 않은(real-world out-of-distribution) 과제에서 더 나은 성능을 보이는가?
• RQ3 합성 데이터 품질에 대한 에이전트 기반 생성의 내재적/외재적 영향은 템플릿 기반 대비 어떤 차이가 있는가?
• RQ4 아티팩트가 기본 페르소나 및 이벤트 숲과 얼마나 일관되고 전반적으로 일관되는가?

주요 결과

• PersonaTrace 파이프라인은 합성 흔적에 대해 다양성 및 현상실성 지표에서 기준 대비 더 높은 값을 보인다.
• PersonaTrace에 파인튜닝된 모델은 네 가지 실제 세계의 보편적이지 않은(out-of-distribution) 과제(이메일 분류, 이메일 작성, 질의 응답, 다음 메시지 예측)에서 경쟁력 있거나 우수한 성능을 달성한다.
• 에이전트 기반 생성은 다양성, 현실성 및 다운스트림 과제 성능 측면에서 제거/템플릿 기반 대비 우수하다.
• 내재적 평가에서 PersonaTrace는 합성 데이터와 실제 데이터셋 모두에서 LLM-판단자 점수가 높게 나타나 현실성과 언어적 품질을 반영한다.
• 변형 실험에서 에이전트를 제거하면 다양성, 현실성 및 다운스트림 과제 성능이 감소하여 멀티 에이전트 구조의 이점을 강조한다.