[論文レビュー] Thinking While Moving: Deep Reinforcement Learning with Concurrent Control

Ted Xiao, Eric Jang+5 more|arXiv (Cornell University)|Apr 13, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 16

ひとこと要約

本論文は、以前のアクションがまだ実行中である間、エージェントがアクションを決定する必要がある同時制御のための深層強化学習フレームワークを提案する。システム遅延を考慮した連続時間のベルマン方程式を定式化し、アクションの残り時間（time-to-action-completion）と直前のアクションを観測に追加することで、ブロッキング性能を維持しながら49%短縮された実行時間で、より高速で滑らかなポリシーを実現する。

ABSTRACT

We study reinforcement learning in settings where sampling an action from the policy must be done concurrently with the time evolution of the controlled system, such as when a robot must decide on the next action while still performing the previous action. Much like a person or an animal, the robot must think and move at the same time, deciding on its next action before the previous one has completed. In order to develop an algorithmic framework for such concurrent control problems, we start with a continuous-time formulation of the Bellman equations, and then discretize them in a way that is aware of system delays. We instantiate this new class of approximate dynamic programming methods via a simple architectural extension to existing value-based deep reinforcement learning algorithms. We evaluate our methods on simulated benchmark tasks and a large-scale robotic grasping task where the robot must "think while moving".

研究の動機と目的

• 標準的なDRL手法が、アクションが独立して計算・実行されることを仮定しているという制限に対処すること。
• 動的で時間変動する環境を想定した現実世界のロボティクスにおいて、エージェントが同時に考えながら行動できる学習フレームワークを開発すること。
• 価値関数にシステム遅延とアクション履歴を組み込むことで、同時実行環境でもQ学習の収束保証を維持すること。
• アクションのブロッキングを回避し、実行中に継続的な計画を可能にすることで、より人間らしい動きを実現すること。
• 同時制御がブロッキングベースラインと同等のタスク成功を達成しながら、ポリシー実行時間を顕著に短縮できることを実証すること。

提案手法

• アクションの決定と実行の間の時間遅延を考慮した、同時MDPにおける連続時間ベルマン作用素を導出する。
• 収束性を保つために、時間遅延を明示的にモデル化する方法で連続時間ベルマン方程式を離散化する。
• 同時系のダイナミクスを捉えるために、時間までのアクション完了時間（tAS）と直前のアクションの2つの要素を状態観測に追加する。
• 前回のアクションの残り実行時間を符号化する新しい表現であるVector-to-Go（VTG）を導入し、ロバスト性を向上させるとともにハイパーパrameterへの感受性を低減する。
• 同時知識を組み込むためにアーキテクチャを変更した既存の価値ベースDRLアルゴリズムを拡張し、同時環境での学習を可能にする。
• アブレーションスタディおよび実世界のロボットグリッピングタスクを用いて、本手法の性能および効率性の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 価値ベースの深層強化学習アルゴリズムは、アクションがブロッキングされない同時制御環境でも収束保証を維持できるか？
• RQ2 時間までのアクション完了時間と直前のアクション情報を組み込むことで、同時環境における学習性能にどのような影響を与えるか？
• RQ3 tAS、直前のアクション、VTGのうち、どの表現が同時制御タスクにおいて最もロバストで効率的な学習をもたらすか？
• RQ4 同時制御は、ブロッキングベースラインと同等のタスク成功を達成しながら、ポリシー実行時間を短縮できるか？
• RQ5 同時計画は、ロボット操作タスクにおいて滑らかで人間らしい軌道を生成するか？

主な発見

• VTG表現を用いた同時DRLフレームワークは、大規模なシミュレーテッドロボットグリッピングで93.49%のグリップ成功を達成し、ブロッキングベースラインと同等の性能を維持しながらエピソード期間を31.3%短縮した。
• 実世界のロボットグリッピングでは、同時モデルが68.60%のグリップ成功を達成した一方で、ブロッキングベースラインの81.43%に比べて49%のポリシー実行時間が短縮された（11.52s vs. 22.60s）。
• VTG表現はハイパーパrameterに対して最も感受性が低く、同時環境下でブロッキング性能を最もよく回復できた。
• 同時モデルは、動画再生による確認とアクション完了時間の短縮により、ブロッキングベースラインよりも滑らかで高速な軌道を生成した。
• 理論的分析により、変更されたベルマン作用素が収縮性を保つことが確認され、同時実行下でもQ学習の収束保証が維持されることを裏付けた。
• 本手法は、実行中にリアルタイムでの意思決定を可能にし、停止が不可能な動的ロボットタスクに適している。