[논문 리뷰] DroidBot-GPT: GPT-powered UI Automation for Android

Hao Wen, Hongming Wang외 2명|arXiv (Cornell University)|2023. 04. 14.

Advanced Malware Detection Techniques인용 수 7

한 줄 요약

DroidBot-GPT는 사전 훈련된 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 자연어 지시어를 통해 안드로이드 앱 상호작용을 자동화하는 새로운 비지도 학습 프레임워크이다. GUI 상태와 동작을 LLM이 이해할 수 있는 자연어 프롬프트로 변환하고, 이를 통해 작업에 특화된 동작을 생성 및 실행한다. 이로 인해 17개 앱의 10개 카테고리에서 구성된 33개의 실제 작업에 대해 39.39%의 작업 완료율과 평균 66.76%의 부분 진행률을 달성하였다.

ABSTRACT

This paper introduces DroidBot-GPT, a tool that utilizes GPT-like large language models (LLMs) to automate the interactions with Android mobile applications. Given a natural language description of a desired task, DroidBot-GPT can automatically generate and execute actions that navigate the app to complete the task. It works by translating the app GUI state information and the available actions on the smartphone screen to natural language prompts and asking the LLM to make a choice of actions. Since the LLM is typically trained on a large amount of data including the how-to manuals of diverse software applications, it has the ability to make reasonable choices of actions based on the provided information. We evaluate DroidBot-GPT with a self-created dataset that contains 33 tasks collected from 17 Android applications spanning 10 categories. It can successfully complete 39.39% of the tasks, and the average partial completion progress is about 66.76%. Given the fact that our method is fully unsupervised (no modification required from both the app and the LLM), we believe there is great potential to enhance automation performance with better app development paradigms and/or custom model training.

연구 동기 및 목표

• 사전 훈련된 LLM을 사용하여 앱 또는 모델 수정 없이 제로샷, 비지도 학습 기반의 안드로이드 앱 작업 자동화를 가능하게 하기 위해.
• 최소한의 개발 노력과 자연어 입력을 통해 다양한 모바일 애플리케이션을 자동화하는 데 도전하기 위해.
• LLM이 GUI 상태를 해석하고 복잡한 다단계 작업을 위한 정확한 동작 시퀀스를 생성할 수 있는지 탐색하기 위해.
• 실제 안드로이드 애플리케이션 환경에서 LLM 기반 GUI 자동화의 실현 가능성과 성능을 평가하기 위해.

제안 방법

• GUI 요소를 '편집 가능', '클릭됨', '선택됨' 등의 구조적 속성 정보를 활용해 자연어로 설명하는 방식으로 LLM의 이해도를 향상시킨다.
• 현재 GUI 상태, 동작 이력, 사용자 작업 설명을 조합한 프롬프트를 구성하여 LLM이 다음 동작을 선택하도록 이끈다.
• DroidBot을 사용해 디바이스에서 GUI 상태를 추출하고 동작를 실행함으로써 앱 수준의 변경 없이 종단 간 자동화를 가능하게 한다.
• 클릭, 스크롤, 편집 등의 GUI 동작을 LLM의 추론와 일치하는 자연어 동작 공간으로 매핑한다.
• 피팅 테이닝을 방지하기 위해 LLM의 사전 훈련된 소프트웨어 상호작용 지식에 의존하는 제로샷 프롬프팅 전략을 적용한다.
• 실시간 GUI 컨텍스트에 기반한 프롬프트 엔지니어링 파이프라인을 설계하여 동작 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 LLM을 피팅 테이닝 없이도 앱 수정 없이 안드로이드 앱 상호작용을 효과적으로 자동화할 수 있는가?
• RQ2 GUI 상태의 자연어 기술만으로 다양한 안드로이드 애플리케이션과 복잡한 다단계 작업에 대해 LLM이 얼마나 잘 일반화할 수 있는가?
• RQ3 LLM 기반 GUI 자동화의 주요 실패 원인은 무엇이며, GUI 요소의 모호성과 동작 불확실성과 어떤 관련이 있는가?
• RQ4 실제 애플리케이션 인터페이스에서 이름이 지정되지 않은 요소와 암묵적인 GUI 관계를 LLM이 얼마나 잘 처리할 수 있는가?
• RQ5 더 나은 프롬프트 설계와 향후 모델 피팅 테이닝을 통해 LLM 기반 자동화의 성능을 향상시킬 수 있는가?

주요 결과

• DroidBot-GPT는 17개 앱의 10개 카테고리에서 구성된 33개의 실제 작업 데이터셋에서 39.39%의 작업 완료율을 달성하였다.
• 시스템은 복잡한 다단계 GUI 전환과 사전 지식이 필요한 작업(예: 바이에른에서 휴일 검색)을 성공적으로 완료함으로써 뛰어난 일반화 능력을 보였다.
• 평균 부분 완료 진척률은 66.76%에 달하여, 전체 작업이 완료되지 않더라도 LLM이 거의 정확한 동작 시퀀스를 생성하는 경향이 있음을 시사한다.
• 실패 사례의 주요 원인은 이름이 지정되지 않은 GUI 요소, 모호한 GUI 관계, LLM 응답의 확률적 불안정성에 기인했다.
• 이 방법은 완전히 비지도 학습 기반으로, 대상 앱이나 LLM에 대한 수정이 전혀 필요 없어 광범위한 적용 가능성과 낮은 구현 장벽을 보여준다.
• 연구는 특히 이름이 없는 요소를 인식하거나 암묵적인 GUI 관계를 유추하는 데 어려움이 있음을 밝혀내었으며, 향후 피팅 테이닝과 시각적 이해 기반 개선이 필요할 것으로 제안한다.