[论文解读] DroidBot-GPT: GPT-powered UI Automation for Android

Hao Wen, Hongming Wang+2 more|arXiv (Cornell University)|Apr 14, 2023

Advanced Malware Detection Techniques被引用 7

一句话总结

DroidBot-GPT 是一种新颖的无监督框架，利用大语言模型（LLMs）通过自然语言指令自动执行 Android 应用操作。它将 GUI 状态和操作转换为 LLM 的自然语言提示，进而生成并执行特定任务的操作，实现在 17 个应用的 33 项真实世界任务中 39.39% 的任务完成率和 66.76% 的平均部分进度。

ABSTRACT

This paper introduces DroidBot-GPT, a tool that utilizes GPT-like large language models (LLMs) to automate the interactions with Android mobile applications. Given a natural language description of a desired task, DroidBot-GPT can automatically generate and execute actions that navigate the app to complete the task. It works by translating the app GUI state information and the available actions on the smartphone screen to natural language prompts and asking the LLM to make a choice of actions. Since the LLM is typically trained on a large amount of data including the how-to manuals of diverse software applications, it has the ability to make reasonable choices of actions based on the provided information. We evaluate DroidBot-GPT with a self-created dataset that contains 33 tasks collected from 17 Android applications spanning 10 categories. It can successfully complete 39.39% of the tasks, and the average partial completion progress is about 66.76%. Given the fact that our method is fully unsupervised (no modification required from both the app and the LLM), we believe there is great potential to enhance automation performance with better app development paradigms and/or custom model training.

研究动机与目标

• 通过使用预训练的 LLM 实现零样本、无监督的 Android 应用任务自动化，且无需修改应用或模型。
• 解决通过最少开发投入和自然语言输入自动化多样化移动应用的挑战。
• 探索 LLM 如何理解 GUI 状态并为复杂、多步骤任务生成准确的操作序列。
• 评估基于 LLM 的 GUI 自动化在真实世界 Android 应用中的可行性与性能。

提出的方法

• 利用 '可编辑'、'已点击' 和 '已选中' 等结构化属性将 Android GUI 元素转换为自然语言描述，以提升 LLM 的可理解性。
• 构建一个提示，结合当前 GUI 状态、操作历史和用户任务描述，以引导 LLM 选择下一步操作。
• 使用 DroidBot 提取 GUI 状态并在设备上执行操作，实现无需应用级修改的端到端自动化。
• 将 GUI 操作（如点击、滚动、编辑）映射到与 LLM 推理对齐的自然语言操作空间。
• 采用零样本提示策略以避免微调，依赖 LLM 对软件交互的预训练知识。
• 设计一种提示工程流水线，将 LLM 决策基于实时 GUI 上下文，从而提升操作准确性。

实验结果

研究问题

• RQ1 是否可以有效利用预训练 LLM 在不进行微调或修改应用的情况下自动化 Android 应用交互？
• RQ2 LLM 仅通过 GUI 状态的自然语言描述，能否在多样化 Android 应用和复杂多步骤任务中实现良好泛化？
• RQ3 基于 LLM 的 GUI 自动化的主要失败模式是什么？它们与 GUI 元素模糊性和操作不确定性有何关联？
• RQ4 LLM 在多大程度上能够处理真实应用界面中隐含的 GUI 关系和未命名元素？
• RQ5 通过更优的提示设计和未来模型微调，能否提升基于 LLM 的自动化的性能？

主要发现

• DroidBot-GPT 在涵盖 17 个应用、10 个类别的 33 项真实世界任务的数据集中实现了 39.39% 的任务完成率。
• 该系统表现出强大的泛化能力，成功完成了需要多次 GUI 转换和先验知识的复杂任务，例如在巴伐利亚搜索假期信息。
• 平均部分完成进度达到 66.76%，表明 LLM 通常能生成接近正确的操作序列，即使未完成全部任务。
• 失败案例主要源于未命名的 GUI 元素、模糊的 GUI 关系以及 LLM 响应的 probabilistic 不稳定性。
• 该方法完全无监督，无需修改目标应用或 LLM，凸显其广泛适用性和低部署门槛。
• 本研究识别出主要局限性——尤其是对未命名元素的识别和对隐含 GUI 关系的推断能力不足——建议未来通过微调和视觉理解能力提升来改进。