[論文レビュー] AndroidEnv: A Reinforcement Learning Platform for Android

Daniel Toyama, Philippe Hamel+7 more|arXiv (Cornell University)|May 27, 2021

Reinforcement Learning in Robotics参考文献 27被引用数 8

ひとこと要約

AndroidEnv は、Android OS 上に構築されたオープンソースの強化学習プラットフォームであり、ユニバーサルタッチスクリーンインターフェースを通じてエージェントが実際のアプリと相互作用できるようにし、リアルタイムで人間のような相互作用をシミュレートする。このプラットフォームは、数百万の Android アプリをカバーする多様で現実的なタスクをサポートしており、汎用的な強化学習エージェントの評価や実際のデバイスへの展開を可能にする。

ABSTRACT

We introduce AndroidEnv, an open-source platform for Reinforcement Learning (RL) research built on top of the Android ecosystem. AndroidEnv allows RL agents to interact with a wide variety of apps and services commonly used by humans through a universal touchscreen interface. Since agents train on a realistic simulation of an Android device, they have the potential to be deployed on real devices. In this report, we give an overview of the environment, highlighting the significant features it provides for research, and we present an empirical evaluation of some popular reinforcement learning agents on a set of tasks built on this platform.

研究の動機と目的

• 現実世界の Android エコシステムに基づいたスケーラブルで現実的な強化学習プラットフォームを構築すること。
• 汎用的な強化学習エージェントが多様で現実世界の Android アプリの間で学習および一般化できるようにすること。
• 人間とデバイスの相互作用を模倣するリアルタイムで非同期的なエージェント-環境の相互作用をサポートすること。
• タスク固有の再設定が不要な一元化されたインターフェースを提供し、広範なタスクにわたる強化学習アルゴリズムの評価を可能にすること。
• Android OS の動作を正確にエミュレートすることで、シミュレーションと現実のギャップを最小限に抑えることにより、実世界への展開を促進すること。

提案手法

• AndroidEnv は dm_env API に基づき、エミュレーテッド Android デバイス上で実行され、OS およびアプリスタックの完全な制御を可能にする。
• 観測空間は生のスクリーンピクセルで構成され、行動空間は特定のスクリーン座標における離散的なタッチスクリーンジェスチャー（タッチ、リリース、リピート）で定義される。
• 相互作用は非同期的かつリアルタイムであり、OS がエージェントとは独立して実行されるため、現実的な遅延やタイミング制約が生じる。
• プラットフォームはシステムログやアプリイベントから導出された構造化された報酬を用いてタスクを定義でき、学習信号の正確な形状づけを可能にする。
• タスクは異なるアプリ間で拡張可能かつ再利用可能に設計されており、単純な UI チャレンジから複雑な UI タスクまで対応可能である。
• 環境はオープンソースであり、GitHub で公開されており、詳細なドキュメンテーションと評価用のベンチマークタスクのセットを備えている。

実験結果

リサーチクエスチョン

• RQ1 汎用的な強化学習エージェントは、ユニバーサルタッチスクリーンインターフェースを用いて、実際の Android アプリで多様で現実的なタスクを学習できるか？
• RQ2 現在の強化学習アルゴリズムは、合成的またはゲームベースの環境と比較して、Android インタラクションの現実的でリアルタイムのシミュレーションにおいて、どの程度のパフォーマンスを示すか？
• RQ3 生産用モバイルOSであるプロダクショングレードの Android OS 内で、異なるアプリやユーザーインターフェースパターンの間で強化学習エージェントがどの程度一般化できるか？
• RQ4 AndroidEnv の非同期的かつリアルタイムの性質は、強化学習エージェントの訓練安定性とサンプル効率にどのように影響するか？
• RQ5 シミュレーションの高精細さのおかげで、AndroidEnv で学習した強化学習エージェントは、実際の Android デバイスに意味的に展開可能か？

主な発見

• AndroidEnv は、ユニバーサルタッチスクリーンインターフェースを通じて、実際の Android アプリと強化学習エージェントが相互作用でき、人間の操作に非常に近い。
• プラットフォームはリアルタイムで非同期実行をサポートしており、OS がエージェントとは独立して実行され、現実的な遅延やタイミング制約が生じる。
• 行動空間は、タッチ、リリース、リピートといった離散的なジェスチャー種別とスクリーン座標で定義され、すべてのアプリで一貫したインターフェースを提供する。
• 環境は、単純な UI インタラクションから複雑な UI インタラクションまで、実際の Android アプリから派生した多様なタスクをサポートする。
• 実証的評価では、一部のタスクは現在の強化学習エージェントが達成可能である一方、他のタスクは依然として挑戦的であり、今後の研究のための意味のあるベンチマークを提供する。
• プラットフォームの忠実度と現実性のおかげで、学習済みエージェントを実際の Android デバイスに成功裏に展開する可能性が高まり、シミュレーションと現実のギャップが縮小される。