[論文レビュー] You Only Look at Screens: Multimodal Chain-of-Action Agents

Zhuosheng Zhang, Aston Zhang|arXiv (Cornell University)|Sep 20, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、環境の解析やアプリケーション固有のAPIに依存せずに、スクリーンのピクセルを観察することで直接UIと対話するマルチモーダルな自律エージェントであるAuto-UIを紹介する。行動予測の精度を向上させるために、履歴行動と将来の計画を統合したコホーレンス・オブ・アクション手法を採用し、AITWベンチマークにおいて90%の行動タイプの正確性と74%の成功率を達成した。推論時間は1秒未塔。

ABSTRACT

Autonomous graphical user interface (GUI) agents aim to facilitate task automation by interacting with the user interface without manual intervention. Recent studies have investigated eliciting the capabilities of large language models (LLMs) for effective engagement in diverse environments. To align with the input-output requirement of LLMs, most existing approaches are developed under a sandbox setting where they rely on external tools and application-specific APIs to parse the environment into textual elements and interpret the predicted actions. Consequently, those approaches often grapple with inference inefficiency and error propagation risks. To mitigate the challenges, we introduce Auto-GUI, a multimodal solution that directly interacts with the interface, bypassing the need for environment parsing or reliance on application-dependent APIs. Moreover, we propose a chain-of-action technique -- leveraging a series of intermediate previous action histories and future action plans -- to help the agent decide what action to execute. We evaluate our approach on a new device-control benchmark AITW with 30$K$ unique instructions, spanning multi-step tasks such as application operation, web searching, and web shopping. Experimental results show that Auto-GUI achieves state-of-the-art performance with an action type prediction accuracy of 90\% and an overall action success rate of 74\%. Code is publicly available at https://github.com/cooelf/Auto-GUI.

研究の動機と目的

• 環境の解析やアプリケーション固有のAPIに依存せずに、スクリーンインターフェース上で直接動作する自律UIエージェントの開発を目的とする。
• 従来のLLMベースのエージェントにおける推論の非効率性と誤差の累積を解消するため、中間のテキストベースの環境表現を排除することを目的とする。
• 過去の行動履歴と将来の計画を統合する新しいコホーレンス・オブ・アクション手法を用いて、行動予測の正確性を向上させることを目的とする。
• 実世界の展開環境において、アプリ操作、ウェブ検索、ウェブショッピングなど多様なUIタスクに一般化できる能力を実現することを目的とする。
• 消費者用ハードウェアに適したリアルタイム展開を想定し、最小限の計算コストで高速な推論を達成することを目的とする。

提案手法

• Auto-UIは、生のスクリーン画像を処理するためのビジョンエンコーダー（BLIP-2）と、行動を生成するための言語モデル（FLAN-Alpaca）を用い、UIに対する直接的なマルチモーダル対話を可能にする。
• コホーレンス・オブ・アクション手法では、各ステップでの行動予測をガイドするために、過去の行動履歴と将来の行動計画をコンテキストとして統合する。
• 行動予測の空間的正確性を向上させるために、座標正規化を適用する。
• 30,000件の独自の指示を含み、複数ステップのタスクをカバーする新しいデバイス制御ベンチマーク、AITW上でエンドツーエンドに訓練する。
• 統一モデルを全ドメインで訓練する一方、ドメイン一般化の評価のために別個のモデルも評価する。
• 推論の高速化を最適化し、1GB未満のGPUメモリ使用量で1秒未塔の行動予測を達成する。

実験結果

リサーチクエスチョン

• RQ1 環境の解析やアプリケーション固有のAPIに依存せずに、自律エージェントがUI制御を実行できるか？
• RQ2 過去の行動履歴と将来の計画を統合することで、マルチモーダルUI対話における行動予測の正確性はどのように向上するか？
• RQ3 複雑で多段階のタスクにおいて、直接スクリーンを観察するエージェントの性能は、従来のプロンプトベースおよびファインチューニングベースのベースラインと比べてどうか？
• RQ4 ウェブショッピング、アプリ操作、ウェブ検索など多様なUIドメインに、エージェントはどの程度一般化できるか？
• RQ5 リアルタイムUI制御において、中規模のマルチモーダルエージェントの推論効率と計算コストはどの程度か？

主な発見

• Auto-UIはAITWベンチマークにおいて、最先端の90%の行動タイプ予測正確性を達成した。
• エージェントは全体として74%の行動成功率を達成し、従来のプロンプトベースおよびファインチューニングベースのベースラインを上回った。
• Auto-UIは1回の行動あたり1秒未塔の推論時間を達成し、大規模モデルではピークGPUメモリ使用量が8.2GBだった。
• 8ビット量子化を施したLlama 2よりも15倍の高速推論速度を達成し、高い計算効率を示した。
• コホーレンス・オブ・アクション手法は性能向上に顕著な寄与を示し、アブレーションスタディでは正確性向上に寄与していることが明らかになった。
• 統一モデルはドメイン間で良好な一般化性能を示し、AITWベンチマークの未学習のサブセットにおいても強力なゼロショット転送性能を達成した。