[논문 리뷰] AndroidEnv: A Reinforcement Learning Platform for Android

Daniel Toyama, Philippe Hamel외 7명|arXiv (Cornell University)|2021. 05. 27.

Reinforcement Learning in Robotics참고 문헌 27인용 수 8

한 줄 요약

AndroidEnv는 실제 앱과 유니버설 터치스크린 인터페이스를 통해 상호작용할 수 있도록 설계된 오픈소스 강화학습 플랫폼으로, 실시간으로 인간과 유사한 상호작용을 시뮬레이션한다. 이 플랫폼은 수백만 개의 안드로이드 앱을 대상으로 다양한 실제 작업을 지원하여 일반적인 강화학습 에이전트의 평가 및 실제 기기에서의 배포 가능성을 제공한다.

ABSTRACT

We introduce AndroidEnv, an open-source platform for Reinforcement Learning (RL) research built on top of the Android ecosystem. AndroidEnv allows RL agents to interact with a wide variety of apps and services commonly used by humans through a universal touchscreen interface. Since agents train on a realistic simulation of an Android device, they have the potential to be deployed on real devices. In this report, we give an overview of the environment, highlighting the significant features it provides for research, and we present an empirical evaluation of some popular reinforcement learning agents on a set of tasks built on this platform.

연구 동기 및 목표

• 실제 세계의 안드로이드 생태계에 기반한 확장성 있고 현실적인 강화학습 플랫폼을 구축하기 위해.
• 일반 목적의 강화학습 에이전트가 다양한 실제 안드로이드 애플리케이션에서 학습하고 일반화할 수 있도록 하기 위해.
• 사람과 기기 간의 상호작용을 모방하는 실시간 비동기 에이전트-환경 상호작용을 지원하기 위해.
• 작업에 특화된 재설정 없이도 다양한 작업에 걸쳐 강화학습 알고리즘을 평가할 수 있는 통합 인터페이스를 제공하기 위해.
• 정확한 안드로이드 OS 행동 에뮬레이션을 통해 시뮬레이션과 현실의 격차를 최소화함으로써 실제 세계의 배포를 촉진하기 위해.

제안 방법

• AndroidEnv는 dm_env API 기반으로 구축되었으며, 에뮬레이션된 안드로이드 기기에서 실행되어 OS 및 앱 스택에 대한 완전한 제어를 가능하게 한다.
• 관측 공간은 원시 화면 픽셀로 구성되며, 행동 공간은 특정 화면 좌표에서의 이산 터치스크린 제스처(터치, 떼기, 반복)로 정의된다.
• 상호작용은 비동기적이며 실시간으로 이루어지며, OS가 에이전트와 별도로 작동하여 현실적인 지연과 시간 제약 조건을 도입한다.
• 플랫폼은 시스템 로그와 앱 이벤트에서 파생된 구조화된 보상으로 작업을 정의하여 학습 신호의 정밀한 형상 조절을 가능하게 한다.
• 작업는 다양한 앱 간에서 확장 가능하고 재사용 가능하도록 설계되었으며, 단순한 UI 도전 과제부터 복잡한 UI 도전 과제까지 모두 지원한다.
• 환경은 오픈소스이며 GitHub에서 이용 가능하며, 상세한 문서와 평가를 위한 벤치마크 작업 세트를 제공한다.

실험 결과

연구 질문

• RQ1 일반 목적의 강화학습 에이전트가 유니버설 터치스크린 인터페이스를 통해 실제 안드로이드 애플리케이션에서 다양한 실제 작업을 수행할 수 있는가?
• RQ2 현재의 강화학습 알고리즘은 합성 또는 게임 기반 환경과 비교해 복잡한 실시간 시뮬레이션 환경에서 안드로이드 상호작용을 어떻게 수행하는가?
• RQ3 생산 수준의 모바일 OS에서 다양한 앱과 사용자 인터페이스 패턴 간에 강화학습 에이전트가 얼마나 잘 일반화할 수 있는가?
• RQ4 AndroidEnv의 비동기적이고 실시간적인 특성이 강화학습 에이전트의 학습 안정성과 샘플 효율성에 어떤 영향을 미치는가?
• RQ5 시뮬레이션의 고정밀도 덕분에 AndroidEnv에서 훈련된 강화학습 에이전트가 실제 안드로이드 기기에서 의미 있게 배포될 수 있는가?

주요 결과

• AndroidEnv는 유니버설 터치스크린 인터페이스를 통해 실제 안드로이드 앱과 상호작용할 수 있도록 하여 인간과 유사한 상호작용을 밀도 있게 모방한다.
• 플랫폼은 실시간 비동기 실행을 지원하며, OS가 에이전트와 별개로 작동하여 현실적인 지연과 시간 제약 조건을 반영한다.
• 행동 공간은 이산 제스처 유형(터치, 떼기, 반복)과 화면 좌표로 정의되어 모든 앱 간에 일관된 인터페이스를 제공한다.
• 환경은 실제 안드로이드 애플리케이션에서 유래한 다양한 작업을 지원하며, 단순한 UI 상호작용부터 복잡한 UI 상호작용까지 모두 포함한다.
• 실증적 평가 결과 일부 작업은 현재의 강화학습 에이전트가 수행 가능한 것으로 나타났지만, 일부는 여전히 도전 과제로 남아 있어 향후 연구를 위한 의미 있는 벤치마크를 제공한다.
• 플랫폼의 정밀도와 현실성은 훈련된 에이전트가 실제 안드로이드 기기에서 성공적으로 배포될 가능성을 높이며, 시뮬레이션과 현실의 격차를 줄인다.