[論文レビュー] AppAgent: Multimodal Agents as Smartphone Users

Zhang, Chi, Yang Zhao+6 more|arXiv (Cornell University)|Dec 21, 2023

AI in Service Interactions被引用数 10

ひとこと要約

本論文は AppAgent を提示します。これは vision-enabled エージェントが GUI ベースの操作空間を介してスマートフォンアプリを操作できるようにする、マルチモーダル LLM ベースのフレームワークであり、自律的な探索または人間のデモンストレーションを通じて学習し、タスクを 10 アプリにまたがって文書ガイド型のメモリで展開します。

ABSTRACT

Recent advancements in large language models (LLMs) have led to the creation of intelligent agents capable of performing complex tasks. This paper introduces a novel LLM-based multimodal agent framework designed to operate smartphone applications. Our framework enables the agent to operate smartphone applications through a simplified action space, mimicking human-like interactions such as tapping and swiping. This novel approach bypasses the need for system back-end access, thereby broadening its applicability across diverse apps. Central to our agent's functionality is its innovative learning method. The agent learns to navigate and use new apps either through autonomous exploration or by observing human demonstrations. This process generates a knowledge base that the agent refers to for executing complex tasks across different applications. To demonstrate the practicality of our agent, we conducted extensive testing over 50 tasks in 10 different applications, including social media, email, maps, shopping, and sophisticated image editing tools. The results affirm our agent's proficiency in handling a diverse array of high-level tasks.

研究の動機と目的

• GUI と対話することにより、システムバックエンドではなく任意のスマートフォンアプリを操作できるマルチモーダルエージェントを実証する。
• アプリ制御のための単純化された人間のようなアクション空間（タップ、スワイプ、テキストなど）を開発する。
• 実用的なナレッジ/ドキュメンテーション基盤を構築するための探索ベースの学習プロセス（自律的探索とデモンストレーション視聴）を示す。
• 適応性、学習効率、実世界での適用性を評価するために、複数のアプリにまたがるタスクでエージェントを評価する。

提案手法

• スクリーンショットと XML 要素グラフという二入力インターフェースとシンプルな要素識別オーバーレイを備えた Android ベースの実験環境を定義する。
• 正確な座標なしに GUI 要素を操作するための四機能アクション空間（Tap、Long_press、Swipe、Text）に加えて Back および Exit を提案する。
• UI 要素の機能と効果のダイナミックな参照文書を構築するために自律的探索とデモンストレーションベースの学習を実装する。
• 観察、推論、およびアクション要約を含む段階的プロンプトを用いて展開を導く文書を用い、後続のステップのメモリを形成する。
• 定量的指標（SR、報酬、平均ステップ数）および定性的ケーススタディを通じて、簡略化されたアクション空間、自動的探索、デモンストレーション視聴、手作成文書といったさまざまな設計選択を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚機能を備えた LLM エージェントは、バックエンド API の代わりに GUI レベルのアクションを使用して、多様なスマートフォンアプリを信頼性高く操作できるか？
• RQ2 探索（自律探索 vs デモンストレーションベース）と文書生成が、アプリ間のタスク成功率と効率性にどのような影響を与えるか？
• RQ3 複雑なジェスチャーやマルチタッチ操作に対する簡略化されたアクション空間のトレードオフと制約は何か？

主な発見

• 簡略化されたアクション空間は、GPT-4 のベースラインに対して、生のアクション API よりも顕著に性能を改善する。
• 探索戦略（自律探索と人間のデモンストレーションの視聴）は、アプリ全体で成功率と効率を著しく向上させる。
• 自律探索またはデモンストレーションで生成された文書は、手動で作成された文書に近い性能を示し、アプリごとの再訓練なしでの効果的な展開を可能にする。
• 画像編集（Lightroom）ケーススタディでは、エージェントベースの結果が編集品質で GPT-4 ベースラインをユーザーランキングで上回ることを示す。
• 全体アーキテクチャは、10 アプリと 50 タスクにおいて高い SR と有利な報酬/ステップのトレードオフを生み出す。