[論文レビュー] HIDAgent: A Toolkit Enabling "Personal Agents" on HID-Compatible Devices

Jeffrey P. Bigham|arXiv (Cornell University)|Jan 31, 2026

Social Robot Interaction and HRI被引用数 0

ひとこと要約

HIDAgentは、キーボードとマウスを模倣することで HID 互換デバイスを観察・制御できるオープンソースのハードウェア/ソフトウェアツールキットを導入し、ターゲットマシンから分離されたデバイス間の個人エージェントを可能にします。

ABSTRACT

UI Agents powered by increasingly performant AI promise to eventually use computers the way that people do - by visually interpreting UIs on screen and issuing appropriate actions to control them (e.g., mouse clicks and keyboard entry). While significant progress has been made on interpreting visual UIs computationally, and in sequencing together steps to complete tasks, controlling UIs is still done with system-specific APIs or VNC connections, which limits the platforms and use cases that can be explored. This paper introduces HIDAgent, an open-source hardware/software toolkit enabling UI agents to operate HID-compatible computing systems by emulating the physical keyboard and mouse. HIDAgent is built using three off-the-shelf components costing less than $30 and a Python library supporting flexible integration. We validated the HIDAgent toolkit by building five diverse use case prototypes across mobile and desktop platforms. As a hardware device, HIDAgent supports research into new interaction scenarios where the agents are separated from the devices they control.

研究の動機と目的

• “Personal Agents” の概念を動機づけ、コントロールデバイスとは外部の別ハードウェアで動作することを定義する。
• モバイルおよびデスクトッププラットフォーム全体で HID ベースの対象デバイス制御を可能にするオープンソースのハードウェア/ソフトウェアツールキットを提供する。
• 複数プラットフォームにわたる多様なプロトタイプを通じてアプローチの多様性を示し、新しいインタラクションシナリオを探る。
• ハードウェア分離が信頼、クロスデバイス制御、アクセシビリティユースケースの研究を可能にすることを示す。）

提案手法

• 低コストのハードウェアバンドル（RP2040、HDMI-to-USBコンバーター、CH340）と制御用のPythonライブラリを説明する。
• RP2040上でHIDイベントのエミュレーションを実装し、制御用コンピュータからUART経由でコマンドを処理する。
• HIDAgent.pyインターフェースを提供し、スクリーンショット取得、マウス/キーボード操作、ヘルパー ユーティリティのコア機能を備える。
• スクリーンショット座標をHID座標にマッピングし、プラットフォーム固有の設定を扱うキャリブレーション手順を提供する。
• ウェブベースのログビューアとスクリプト用のpatch_location/gui_diffユーティリティを含むデバッグおよびログ記録機能を公開する。

Figure 1. The HIDAgent toolkit is composed of three off-the-self hardware components ( (i) a RP2040 microcontroller, (ii) an HDMI to USB converter, and (iii) a CH340 USB-to-Serial bridge) and a Python software library that makes it easy to develop programs running on a control computer that observe

実験結果

リサーチクエスチョン

• RQ1 別個のハードウェアデバイスが、ソフトウェアを対象デバイスにインストールすることなく、HID互換ターゲットを効果的に観察・制御できるか？
• RQ2 HIDAgentで実現可能になるインタラクションシナリオ（例：クロスデバイス制御、アクセシビリティツール、データ収集）は何か？
• RQ3 モバイルおよびデスクトッププラットフォーム全体で外部 HID デバイスを介してUIエージェントがどれだけうまく機能するか？
• RQ4 HIDAgentをデバイス間に展開する際に必要な実用的なキャリブレーションとプラットフォーム権限の考慮事項は何か？

主な発見

• HIDAgent は、ホストソフトウェアのインストールなしで画面ピクセルをストリーミングし HID 入力を発行することで HID互換デバイスの跨プラットフォーム制御を可能にする。
• 5つの多様なプロトタイプは、拡張可能なUIエージェント、ユニバーサルデータ収集、画面読取機能の橋渡し、クロスデバイスの相互作用、役立つオブザーバーモードなどの機能を実証する。
• ツールキットはデバイス上処理とLLMを用いたリモート処理の双方をサポートしており、ローカルおよびクラウド支援のUIエージェントワークフローの実現可能性を示す。
• キャリブレーション手順とプラットフォーム固有設定は、iOS、Android、macOS、Windowsで信頼性のあるポインタマッピングと権限を得るために不可欠である。
• 外部ハードウェアアプローチは、エージェントが制御対象デバイスから分離されるシナリオ（BYOA: bring-your-own-agent やセキュアコントロール文脈を含む）を研究することを可能にする。

Figure 2. HID space to pixel space calibration is done by observing the cursor’s movement in response to HID mouse move events. In this example, the quite faint cursor of the Apple iPhone screen is shown before (i) and after (ii) . The pixel locations that were automatically detected to have changed