[논문 리뷰] ProAgentBench: Evaluating LLM Agents for Proactive Assistance with Real-World Data

Yuanbo Tang, Huaze Tang외 7명|arXiv (Cornell University)|2026. 02. 04.

Personal Information Management and User Behavior인용 수 0

한 줄 요약

ProAgentBench는 언제 도와야 할지와 어떻게 도와야 할지 평가하는 실제 세계의 프라이버시 보호 데이터세트와 2단계 프레임워크를 도입하며, 실제 데이터와 장기 맥락이 성능을 향상시킨다는 것을 보여줍니다.

ABSTRACT

Proactive agents that anticipate user intentions without explicit prompts represent a significant evolution in human-AI interaction, promising to reduce cognitive load and streamline workflows. However, existing datasets suffer from two critical deficiencies: (1) reliance on LLM-synthesized data that fails to capture authentic human decision-making patterns, and (2) focus on isolated tasks rather than continuous workflows, missing the pre-assistance behavioral context essential for learning proactive intervention signals. To address these gaps, we introduce ProAgentBench, a rigorous benchmark for proactive agents in working scenarios. Our contributions include: (1) a hierarchical task framework that decomposes proactive assistance into timing prediction and assist content generation; (2) a privacy-compliant dataset with 28,000+ events from 500+ hours of real user sessions, preserving bursty interaction patterns (burstiness B=0.787) absent in synthetic data; and (3) extensive experiments that evaluates LLM- and VLM-based baselines. Numerically, we showed that long-term memory and historical context significantly enhance prediction accuracy, while real-world training data substantially outperforms synthetic alternatives. We release our dataset and code at https://anonymous.4open.science/r/ProAgentBench-6BC0.

연구 동기 및 목표

• 현실 업무 흐름 시나리오에서 선제적 에이전트용 벤치마크를 만든다.
• 사전 지원 맥락과 함께 authentic, 장기 사용자 상호작용 데이터를 캡처한다.
• 체계적 평가를 위한 두 단계 프레임워크(When to Assist, How to Assist)를 형식화한다.
• 현실 세계 데이터와 장기 메모리가 선제적 개입에 미치는 영향을 정량화한다.
• 미래 연구를 가이드하기 위해 LLM과 VLM에 대한 기준선을 제공한다.]
• method:[

제안 방법

• 선제적 지원을 타이밍 예측과 콘텐츠 생성을 분해하는 계층적 “When + How” 프레임워크를 개발한다.
• 실제 사용자 세션 500시간 이상에서 28,528건의 이벤트를 포함하는 프라이버시 준수 데이터세트를 모아, 버스트성 상호작용 패턴을 보존한다.
• 데이터 수집 파이프라인을 익명화, 사람-인-루프 검토, 자동 LLM 기반 이벤트 주석 등을 사용한다.
• 프롬프트 기반(제로샷, 체인-오브-생각(CoT), 자기일관성) 및 기억 기반(RAG, 지식 그래프, 클러스터링) 접근법을 포함한 다양한 LLM 및 VLM 벤치마크를 평가한다.
• 예측 및 생성 작업에 대한 과거 관찰 길이와 장기 사용자 맥락의 영향을 분석한다.]
• research_questions:[

Figure 1 : Illustration of Proactive Agent Workflow. The agent continuously monitors user screen activities and contextual signals. When assistance is needed, it proactively determines when to intervene and how to assist based on historical observations and user behavior patterns.

실험 결과

연구 질문

• RQ1 역사적 관찰 시퀀스 길이가 When to Assist와 How to Assist 성능에 어떤 영향을 미치는가?
• RQ2 장기 사용자 맥락(메모리)을 도입하는 것이 선제적 지원에 미치는 영향과 가장 효과적인 메모리 전략은 무엇인가?
• RQ3 실제 세계 훈련 데이터가 선제적 에이전트 미세조정에서 합성 데이터를 능가하는가?
• RQ4 프롬프트 전략(제로샷, CoT, Self-Consistency)이 모델 전반의 성능에 어느 정도 도움이나 방해를 주는가?
• RQ5 선제 개입의 실제 생산성을 반영하는 실용적 지표는 무엇인가?

주요 결과

• 더 긴 역사적 맥락은 타이밍 및 의도 예측을 향상시키며, 약 5분 이후에는 수익이 감소한다.
• Knowledge Graph 기반의 장기 메모리는 제로샷 비교대비 가장 큰 성능 향상을 가져오며(정확도 +11.8%, 의도 정확도 +26.9%, F1 +6.1%).
• 실제 세계 데이터가 모델 전반의 미세조정에 대해 합성 데이터를 크게 능가한다.
• 프롬프트 전략은 혼합 효과를 보이며; 체인-오브-생각은 대형 모델에 도움이 되지만 소형/오픈 모델에는 해를 끼치고, 자기일관성은 제한된 이득을 제공한다.
• How to Assist의 의미론적 유사성에 대한 모델 성능은 비교적 낮아 콘텐츠 생성 품질 개선 여지가 있다.

(a) Weekday distribution.