[论文解读] HIDAgent: A Toolkit Enabling "Personal Agents" on HID-Compatible Devices

Jeffrey P. Bigham|arXiv (Cornell University)|Jan 31, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

HIDAgent 引入一个开源的硬件/软件工具包，通过仿真键盘和鼠标让用户界面代理观察与控制兼容 HID 的设备，从而实现与目标机器分离的跨设备个人代理。

ABSTRACT

UI Agents powered by increasingly performant AI promise to eventually use computers the way that people do - by visually interpreting UIs on screen and issuing appropriate actions to control them (e.g., mouse clicks and keyboard entry). While significant progress has been made on interpreting visual UIs computationally, and in sequencing together steps to complete tasks, controlling UIs is still done with system-specific APIs or VNC connections, which limits the platforms and use cases that can be explored. This paper introduces HIDAgent, an open-source hardware/software toolkit enabling UI agents to operate HID-compatible computing systems by emulating the physical keyboard and mouse. HIDAgent is built using three off-the-shelf components costing less than $30 and a Python library supporting flexible integration. We validated the HIDAgent toolkit by building five diverse use case prototypes across mobile and desktop platforms. As a hardware device, HIDAgent supports research into new interaction scenarios where the agents are separated from the devices they control.

研究动机与目标

• 在外部硬件上激活、定义“个人代理”的概念，控制设备之外的操作。
• 提供一个开源的硬件/软件工具包，使基于 HID 的控制能够跨移动端和桌面平台应用于目标设备。
• 通过在多平台上的多样化原型展示该方法的灵活性，以探索新的交互场景。
• 展示硬件分离如何促进对信任、跨设备控制和无障碍用例的研究。

提出的方法

• 描述一个低成本的硬件组合（RP2040、HDMI-to-USB 转换器、CH340）和一个用于控制的 Python 库。
• 在 RP2040 上实现 HID 事件仿真，以及通过控制计算机的 UART 进行指令处理。
• 提供 HIDAgent.py 接口，包含截图捕获、鼠标/键盘操作和辅助工具等核心函数。
• 提供校准程序，将截图坐标映射到 HID 坐标并处理平台相关设置。
• 暴露调试和日志记录功能，包括基于网页的日志查看器以及 patch_location/gui_diff 实用工具用于脚本编写。

Figure 1. The HIDAgent toolkit is composed of three off-the-self hardware components ( (i) a RP2040 microcontroller, (ii) an HDMI to USB converter, and (iii) a CH340 USB-to-Serial bridge) and a Python software library that makes it easy to develop programs running on a control computer that observe

实验结果

研究问题

• RQ1 一个独立的硬件设备在不在目标设备上安装软件的情况下，是否能够有效观察并控制兼容 HID 的目标？
• RQ2 通过 HIDAgent 可以实现哪些交互场景（如跨设备控制、辅助技术工具、数据收集）？
• RQ3 通过外部 HID 设备在移动端和桌面端上操作时，UI 代理的表现如何？
• RQ4 在不同设备上部署 HIDAgent 需要的实际校准和平台权限注意事项有哪些？

主要发现

• HIDAgent 通过流式传输屏幕像素并发出 HID 输入实现对 HID 兼容设备的跨平台控制，而无需在主机上安装软件。
• 五个多样化原型演示了可扩展的 UI 代理、通用数据收集、屏幕阅读器风格的无障碍桥接、跨设备交互以及有用的观测者模式等能力。
• 该工具包支持在设备端处理和通过远程处理搭配 LLMs 的工作流，展示本地与云端协助的 UI 代理工作流的可行路径。
• 对于在 iOS、Android、macOS 和 Windows 上实现可靠的指针映射与权限，校准程序和平台相关设置是必不可少的。
• 外部硬件方法使研究 agents 与受控设备分离的场景成为可能，包括自带代理和安全控制的情境。

Figure 2. HID space to pixel space calibration is done by observing the cursor’s movement in response to HID mouse move events. In this example, the quite faint cursor of the Apple iPhone screen is shown before (i) and after (ii) . The pixel locations that were automatically detected to have changed