[論文レビュー] Motion Perception in Reinforcement Learning with Dynamic Objects

Artemij Amiranashvili, Alexey Dosovitskiy+2 more|arXiv (Cornell University)|Jan 10, 2019

Reinforcement Learning in Robotics参考文献 31被引用数 10

ひとこと要約

本稿では、動的環境における連続的制御のための深層強化学習に、光流または画像差分による明示的な運動表現を統合することを提案する。予め訓練済みまたは自己教師あり光流、特に画像差分を入力とすることで、移動する物体を含むタスクにおいて、標準的なフレームスタックを上回る性能向上が示され、かつて解けなかったタスクの学習を可能にする。

ABSTRACT

In dynamic environments, learned controllers are supposed to take motion into account when selecting the action to be taken. However, in existing reinforcement learning works motion is rarely treated explicitly; it is rather assumed that the controller learns the necessary motion representation from temporal stacks of frames implicitly. In this paper, we show that for continuous control tasks learning an explicit representation of motion improves the quality of the learned controller in dynamic scenarios. We demonstrate this on common benchmark tasks (Walker, Swimmer, Hopper), on target reaching and ball catching tasks with simulated robotic arms, and on a dynamic single ball juggling task. Moreover, we find that when equipped with an appropriate network architecture, the agent can, on some tasks, learn motion features also with pure reinforcement learning, without additional supervision. Further we find that using an image difference between the current and the previous frame as an additional input leads to better results than a temporal stack of frames.

研究の動機と目的

• 明示的な運動表現が、移動物体を含む動的環境における強化学習の性能を向上させるかどうかを調査すること。
• 連続的制御タスクにおける深層強化学習エージェントの補助入力としての光流の有効性を評価すること。
• 運動の監視なしに、強化学習の報酬のみで運動特徴を自己教師ありで学習できるかどうかを特定すること。
• 画像差分入力と標準的なフレームスタックベースラインとの性能を、動的強化学習タスクで比較すること。
• リアルタイム推論制約を満たすエンドツーエンド強化学習訓練において、軽量な光流ネットワークの実用性を評価すること。

提案手法

• リアルタイム推論を最適化した、FlowNetを基にした小型で効率的な光流ネットワーク（TinyFlowNet）を提案し、強化学習訓練中に使用可能であるように設計する。
• ポリシーネットワークの補助入力として光流ネットワークを統合し、生の観測に加えて運動の手がかりを提供する。
• 光流ネットワークを2通りのモードで訓練する：合成光流データ上で教師あり事前学習を行い、その後強化学習報酬のみでエンドツーエンドのファインチューニングを行う。
• フレームスタックの置き換えまたは補完として、画像差分（現在のフレームから前のフレームを引いたもの）を代替の運動表現入力として導入する。
• Walker、Swimmer、Hopper、およびカスタムロボット操作タスクを含むベンチマーク環境で、標準的な深層強化学習アルゴリズム（例：SAC）を用いる。
• 学習された運動表現を可視化し、ネットワークが関連のある物体（例：ボール）の運動を符号化しているか、自己運動（例：ロボットアーム）を無視しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 フレームスタックからの暗黙的な運動学習と比較して、光流による明示的な運動表現が、動的強化学習タスクにおけるポリシー性能を向上させるか？
• RQ2 運動の監視なしに、強化学習報酬のみで運動特徴を効果的に自己教師ありで学習できるか？
• RQ3 ピクセルベースの強化学習において、画像差分（現在フレームから前のフレームを引いたもの）が、時間的フレームスタックよりも効果的な運動表現であるか？
• RQ4 どのような種類の動的制御タスクにおいて、明示的な運動表現が成功した学習に不可欠となるか？
• RQ5 ネットワークアーキテクチャの選択が、報酬のみで運動表現を学習する能力にどのように影響するか？

主な発見

• 光流を補助入力として用いることで、全テスト対象の動的制御タスクで一貫してポリシー性能が向上し、特に運動の複雑さが高いタスクで顕著であった。
• 3D KeepUp with High Motion Penalty タスクでは、フレームスタックからの学習が完全に失敗したが、事前学習済みのTinyFlowNetを用いたポリシーは成功した。
• 2D Chaserなどの簡単なタスクでは、強化学習報酬のみで光流ネットワークを自己教師ありで学習させた結果、教師あり事前学習と同等の性能を達成した。
• 3D KeepUp with High Motion Penalty などのより難しいタスクでは、報酬のみでの自己教師あり学習が運動特徴を学習できず、運動表現学習のブートストラップには教師あり事前学習が必要であることが示された。
• 画像差分入力は、全タスクでフレームスタックベースラインを上回るか、同等の性能を示し、より効果的で計算コストも低い運動表現であると考えられる。
• 自己教師ありのTinyFlowNetの可視化結果から、ボールの運動を正しく表現している一方で、ロボットアームの自己運動はほとんど無視しており、タスク関連の動的要因に選択的に注目していることが示された。