[논문 리뷰] When Benign Inputs Lead to Severe Harms: Eliciting Unsafe Unintended Behaviors of Computer-Use Agents

Jaylen Jones, Zhehao Zhang외 7명|arXiv (Cornell University)|2026. 02. 09.

Security and Verification in Computing인용 수 0

한 줄 요약

본 논문은 무해한 입력을 사용하여 컴퓨터 사용 에이전트(CUA)로부터 안전하지 않은 의도치 않은 행동을 자동으로 유도하는 에이전트형 프레임워크 AutoElicit를 소개하고, 프런티어 CUAs 간 높은 이전 가능성을 보여주며 확장 가능한 분석 파이프라인을 제공한다.

ABSTRACT

Although computer-use agents (CUAs) hold significant potential to automate increasingly complex OS workflows, they can demonstrate unsafe unintended behaviors that deviate from expected outcomes even under benign input contexts. However, exploration of this risk remains largely anecdotal, lacking concrete characterization and automated methods to proactively surface long-tail unintended behaviors under realistic CUA scenarios. To fill this gap, we introduce the first conceptual and methodological framework for unintended CUA behaviors, by defining their key characteristics, automatically eliciting them, and analyzing how they arise from benign inputs. We propose AutoElicit: an agentic framework that iteratively perturbs benign instructions using CUA execution feedback, and elicits severe harms while keeping perturbations realistic and benign. Using AutoElicit, we surface hundreds of harmful unintended behaviors from state-of-the-art CUAs such as Claude 4.5 Haiku and Opus. We further evaluate the transferability of human-verified successful perturbations, identifying persistent susceptibility to unintended behaviors across various other frontier CUAs. This work establishes a foundation for systematically analyzing unintended behaviors in realistic computer-use settings.

연구 동기 및 목표

• 무해한 입력에서 발생하는 의도치 않은 CUA 행동에 대한 구체적인 개념 프레임워크를 정의하고, 무해한 입력으로부터 발생하는 안전 위험을 분류한다.
• 실제 작업에서 frontier CUA 간에 의도치 않은 행동을 자동으로 유도하고 분석하며 이전시키기 위해 AutoElicit를 제안한다.
• OS-domain 및 Multi-Apps 작업에서 유도 성공률과 피해 심각도를 정량화하고 개방형 및 폐쇄형 소스 CUAs로의 전이 가능성을 평가한다.
• 실제 사용에서 CUAs의 체계적이고 확장 가능한 안전성 평가를 지원하기 위한 데이터셋(AutoElicit-Bench)과 통찰 정보를 제공한다.

제안 방법

• 무해한 의도치 않은 CUA 행동을 unsafe하고 목표 지향적 해를 ordinary errors와 구분하는 네 가지 핵심 특성 정의를 개발한다.
• Context-Aware Seed Generation(LLM 기반 시드 섭동)와 Execution-Guided Perturbation Refinement(실행 피드백 루프)의 두 단계로 AutoElicit를 도입한다.
• 행동 프리미티브와 취약성에 의해 정보된 그럴듯한 의도치 않은 대상(seed perturbations)을 생성하고, 여러 LLM 판단자 및 제약 준수 점수로 시드의 평가와 정제를 수행한다.
• Trajectory Summarizer와 Behavior Elicitation Score를 사용한 반복적 실행 피드백 루프를 수행하여 성공적인 해를 식별하고 교란 수정에 방향을 제시한다.
• 메타분석(App. J)을 수행하여 성공적인 교란을 취약성 패턴 및 실패 모드로 군집화하고; 다수의 frontier CUAs(open 및 closed-source) 간의 이전 가능성 연구를 수행한다.

Figure 1: Unintended Behaviors in CUAs. We define the first conceptual and methodological framework for studying unintended behaviors, reflecting unsafe actions that emerge inadvertently from benign inputs during typical user interactions. For example, an agent tasked with editing a critical SSH con

실험 결과

연구 질문

• RQ1 무해한 입력에서 발생하는 의도치 않은 CUA 행동을 체계적으로 식별하고 분류할 수 있는 프레임워크가 있는가?
• RQ2 자동 교란 파이프라인이 OS 및 멀티앱 시나리오에서 롱테일 손상을 얼마나 효과적으로 드러낼 수 있는가?
• RQ3 한 CUA에서 유도된 교란이 다른 프런티어 CUA로 이전되어 입력 취약성이 지속되고 있음을 시사하는가?
• RQ4 무해한 교란에 노출될 때 프런티어 CUA에서 나타나는 주요 취약성 패턴과 실패 모드는 무엇인가?

주요 결과

• AutoElicit는 프런티어 CUAs 전반에서 높은 유도 성공률을 달성하여 OS-domain 시드의 최대 72.5%, Claude 4.5 Haiku를 사용한 Multi-Apps에서 60.8%의 해를 드러내고; 시드의 9.2–10.1%가 High 또는 Critical 해 심각도를 초래한다.
• Opus에 대한 인간 검증 유도 성공률은 OS에서 최대 60%, Multi-Apps에서 80%에 이르며, 더 강력한 CUA 능력에도 불구하고 지속적인 취약성을 보여준다.
• 유도 교란은 다른 대상 에이전트로의 이전에 전체 35.0%–53.8%의 성공률을 보여주며, 오픈 소스 및 클로즈드 소스 CUAs 간의 광범위한 교차 에이전트 취약성 이전을 시사한다.
• AutoElicit-Bench는 117개의 인간이 검증한 성공적 교란으로 구성되어 광범위한 교차 에이전트 안전 분석을 가능하게 한다.
• 메타분석은 Opus의 경우 30개 범주 및 13개 클러스터, Haiku의 경우 99개 범주 및 29개 클러스터를 식별하여 반복되는 언어적 트리거와 안전 제약의 정의 미흡이 주요 위험 요인임을 드러냈다.

Figure 2: AutoElicit : the first automatic elicitation pipeline built on an agentic framework to elicit unintended CUA behaviors from realistic computer-use scenarios. Context-Aware Seed Generation proposes plausible unintended behavior targets given an OSWorld task’s environment context and minimal