[論文レビュー] A data-driven approach for learning to control computers

Peter C. Humphreys, David Raposo+9 more|arXiv (Cornell University)|Feb 16, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

この論文は、大規模な人間のデモデータと行動クラーニングを活用することで、キーボードおよびマウスによるコンピュータ制御のMiniWob++ベンチマークで人間水準のパフォーマンスを達成するデータ駆動型強化学習アプローチを提示する。この手法は、特別なアクション空間を避けて標準的なキーボードおよびマウス操作のみを用い、最小限のアーキテクチャ変更で強力なクロスタスク転送を示している。

ABSTRACT

It would be useful for machines to use computers as humans do so that they can aid us in everyday tasks. This is a setting in which there is also the potential to leverage large-scale expert demonstrations and human judgements of interactive behaviour, which are two ingredients that have driven much recent success in AI. Here we investigate the setting of computer control using keyboard and mouse, with goals specified via natural language. Instead of focusing on hand-designed curricula and specialized action spaces, we focus on developing a scalable method centered on reinforcement learning combined with behavioural priors informed by actual human-computer interactions. We achieve state-of-the-art and human-level mean performance across all tasks within the MiniWob++ benchmark, a challenging suite of computer control problems, and find strong evidence of cross-task transfer. These results demonstrate the usefulness of a unified human-agent interface when training machines to use computers. Altogether our results suggest a formula for achieving competency beyond MiniWob++ and towards controlling computers, in general, as a human would.

研究の動機と目的

• キーボードおよびマウス入力のみを用いて、スケーラブルで汎用的な方法でエージェントを訓練し、コンピュータを制御すること。
• 大規模な人間のデモデータが、特別なアクション空間や複雑なカリキュラムを用いずに、コンピュータ制御タスクで優れたパフォーランスを実現できるかどうかを調査すること。
• デジタルタスクオートメーションのための統一された人間-エージェントインターフェースにおいて、行動クラーニングと強化学習を組み合わせた有効性を評価すること。
• 現実的でインタラクティブなウェブベースの環境において、クロスタスク転送と人間水準のパフォーマンスが達成可能かどうかを検証すること。
• 従来のRL手法がコンピュータ制御には不十分であるという仮説を、データスケールそのものが性能ギャップを埋められることを示すことによって解消すること。

提案手法

• エージェントのアクション空間として、人間の操作パターンと直接一致するキーボードおよびマウス操作のみを用いる。
• 行動クラーニングによる事前学習のため、先行データセットと比較して最大400倍大きい規模の人間デモ軌道を活用する。
• MiniWob++環境からのプログラム的報酬を用いて、行動クラーニングと強化学習を組み合わせ、ポリシーをファインチューニングする。
• 視覚的入力（ピクセルレベル）とDOMレベルの状態情報を統合した統一された観測空間を採用し、環境理解を豊かにする。
• 特にテキスト入力が多いタスクにおいて、探索の負担を軽減するため、タスク固有のテキスト文字列の辞書を活用する。
• 特別なアクション空間やカリキュラム設計を用いずに、標準的な深層強化学習アルゴリズム（例：SAC や PPO）を行動クラーニングされたポリシーの上に適用する。

実験結果

リサーチクエスチョン

• RQ1 行動クラーニングと強化学習の単純な組み合わせが、キーボードおよびマウスのみを用いてコンピュータ制御タスクで人間水準のパフォーマンスを達成できるか？
• RQ2 人間デモデータのスケールを増大させることで、MiniWob++タスクにおけるパフォーマンスにどのような影響を与えるか？
• RQ3 あるタスクで学習したポリシーが、MiniWob++ベンチマークの他のタスクへどの程度一般化できるか？
• RQ4 DOM固有のアクションと比較して、標準的なアクション空間（キーボードおよびマウス）が、複雑なウェブタスクで優れたパフォーマンスを示すか、同等か？
• RQ5 大規模な人間データのみで、人間水準の行動との性能ギャップを埋められるか？アーキテクチャの革新やカリキュラム学習は不要か？

主な発見

• 本手法は、MiniWob++ベンチマークの全タスクにおいて、最先端かつ人間水準の平均パフォーマンスを達成し、以前のSOTAを大きく上回っている。
• 人間デモデータの量が増えるにつれてパフォーマンスが単調に向上し、先行データセットの400倍の規模に達しても飽和の兆しなし。
• 強力なクロスタスク転送が観察され、エージェントがタスク固有の行動を記憶するのではなく、一般化可能なスキルを学習していることが示された。
• 統一されたキーボードおよびマウスインターフェースの使用により、DOM構造が明確でないタスクに対しても効果的な一般化が可能となり、より広範な適用性を示している。
• 従来の深層RLに大規模な行動クラーニングを組み合わせるだけで高パフォーマンスが達成可能であることが実証され、特別なアクション空間や複雑なカリキュラムの必要性が疑問視された。
• アーキテクチャの変更やカリキュラムベースのトレーニングなしに人間水準のパフォーマンスを達成した。これは、インタラクティブエージェント学習においてデータスケールの重要性を強調している。