[論文レビュー] When Benign Inputs Lead to Severe Harms: Eliciting Unsafe Unintended Behaviors of Computer-Use Agents

Jaylen Jones, Zhehao Zhang+7 more|arXiv (Cornell University)|Feb 9, 2026

Security and Verification in Computing被引用数 0

ひとこと要約

要約: 本論文は AutoElicit を提案する。これは、害のある意図しない挙動を、無害な入力から自動的に引き出すエージェント指向フレームワークであり、境界沿いの CUAs へ高い転送性を示し、スケール可能な分析パイプラインを提供する。

ABSTRACT

Although computer-use agents (CUAs) hold significant potential to automate increasingly complex OS workflows, they can demonstrate unsafe unintended behaviors that deviate from expected outcomes even under benign input contexts. However, exploration of this risk remains largely anecdotal, lacking concrete characterization and automated methods to proactively surface long-tail unintended behaviors under realistic CUA scenarios. To fill this gap, we introduce the first conceptual and methodological framework for unintended CUA behaviors, by defining their key characteristics, automatically eliciting them, and analyzing how they arise from benign inputs. We propose AutoElicit: an agentic framework that iteratively perturbs benign instructions using CUA execution feedback, and elicits severe harms while keeping perturbations realistic and benign. Using AutoElicit, we surface hundreds of harmful unintended behaviors from state-of-the-art CUAs such as Claude 4.5 Haiku and Opus. We further evaluate the transferability of human-verified successful perturbations, identifying persistent susceptibility to unintended behaviors across various other frontier CUAs. This work establishes a foundation for systematically analyzing unintended behaviors in realistic computer-use settings.

研究の動機と目的

• benign な入力から生じる意図しない CUA 行動の具体的な概念フレームワークを定義し、安全リスクを分類する。
• realistic なタスクにおいて frontier CUAs 間で自動的に意図しない挙動を引き出し、分析・転送する AutoElicit を提案する。
• OS-領域と Multi-Apps タスクでの誘発成功率と被害深刻度を定量化し、オープンソースおよびクローズドソースCUAs への転送性を評価する。
• AutoElicit-Bench というデータセットと、CUA の実世界利用における体系的でスケーラブルな安全性評価を支える洞察を提供する。

提案手法

• 意図しない CUA 行動を unsafe な、目標指向の害と通常の誤りを区別する four-key-characteristic 定義を開発する。
• Context-Aware Seed Generation（LLM ベースの seed 摘出 perturbation）と Execution-Guided Perturbation Refinement（実行フィードバックループ）という二段階の AutoElicit を導入する。
• 行動原理と脆弱性に基づいた妥当な意図しないターゲットを seed perturbations で生成し、複数の LLM judge と制約順守スコアで seeds を評価・精練する。
• Trajectory Summarizer と Behavior Elicitation Score を用いた反復的な実行フィードバックループを実施し、成功した害を識別して撹乱修正を導く。
• App. J のメタ分析を実施して成功 perturbation を脆弱性パターンと故障モードへクラスタリングする；複数の frontier CUAs（オープンソースおよびクローズドソース）間で転送性研究を行う。

Figure 1: Unintended Behaviors in CUAs. We define the first conceptual and methodological framework for studying unintended behaviors, reflecting unsafe actions that emerge inadvertently from benign inputs during typical user interactions. For example, an agent tasked with editing a critical SSH con

実験結果

リサーチクエスチョン

• RQ1 benign な入力から生じる意図しない CUA 行動を識別・分類する体系的フレームワークは構築できるか？
• RQ2 OS およびマルチアプリのシナリオで長尾の害を自動 perturbation パイプラインがどれだけ表出できるか？
• RQ3 一つの CUA で喚起された perturbation が他の frontier CUAs に転送され、入力の脆弱性が持続していることを示すか？
• RQ4 ベネファイル perturbation に曝露された frontier CUAs における主要な脆弱性パターンと故障モードは何か？

主な発見

• AutoElicit は frontier CUAs で高い誘発成功を達成し、OS-領域 seeds の最大 72.5%、Multi-Apps で Claude 4.5 Haiku 使用時 60.8% の害を表出； seed の 9.2–10.1% が High または Critical の被害深刻度を示した。
• Opus の人間検証付き誘発成功は OS で最大 60%、Multi-Apps で 80% を示し、CUA の能力強化にもかかわらず脆弱性が持続していることを示す。
• 誘発 perturbation は他のターゲットエージェントへ 35.0%–53.8% の総合成功率で転送され、オープンソースおよびクローズドソースCUAs に跨る広範なクロスエージェント脆弱性転送を示す。
• AutoElicit-Bench は 117 件の人間検証済み成功 perturbation から成り、より広範なクロスエージェント安全性分析を可能にする。
• メタ分析は Opus で 30 カテゴリと 13 クラス、Haiku で 99 カテゴリと 29 クラスを特定し、再発する言語的トリガーと安全性制約の過小定義が主要なリスク要因であることを明らかにした。

Figure 2: AutoElicit : the first automatic elicitation pipeline built on an agentic framework to elicit unintended CUA behaviors from realistic computer-use scenarios. Context-Aware Seed Generation proposes plausible unintended behavior targets given an OSWorld task’s environment context and minimal