[論文レビュー] ROLL: Visual Self-Supervised Reinforcement Learning with Object Reasoning

Yufei Wang, Gautham Narayan Narasimhan+3 more|arXiv (Cornell University)|Nov 13, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 8

ひとこと要約

ROLLは、LSTMベースの時系列モデリングと対照的マッチング損失を組み合わせることで、オブジェクトの推論を統合する視覚的自己教師付き強化学習フレームワークを提案する。遮蔽されたフレームと遮蔽されていないフレーム間の潜在空間マッチングを活用することで、85%のピクセル遮蔽下でも平均推定誤差がわずか1cmに抑えられ、マッチング損失やオブジェクト-VAEを備えないベースラインを著しく上回る。

ABSTRACT

Current image-based reinforcement learning (RL) algorithms typically operate on the whole image without performing object-level reasoning. This leads to inefficient goal sampling and ineffective reward functions. In this paper, we improve upon previous visual self-supervised RL by incorporating object-level reasoning and occlusion reasoning. Specifically, we use unknown object segmentation to ignore distractors in the scene for better reward computation and goal generation; we further enable occlusion reasoning by employing a novel auxiliary loss and training scheme. We demonstrate that our proposed algorithm, ROLL (Reinforcement learning with Object Level Learning), learns dramatically faster and achieves better final performance compared with previous methods in several simulated visual control tasks. Project video and code are available at https://sites.google.com/andrew.cmu.edu/roll.

研究の動機と目的

• 部分観測下、特にオブジェクトの遮蔽にさらされた状況における視覚的表現学習の向上を目的とする。
• 視覚入力で部分的に遮られてもオブジェクトの位置を推論できるようにする。
• 人為的アノテーションや報酬形状の必要がない自己教師付きフレームワークの開発を目的とする。
• LSTMベースの時系列モデリングと対照的マッチング損失を組み合わせた視覚的推論の有効性を評価することを目的とする。
• 明示的なオブジェクト検出に依存せずに、複雑な操作タスクにおける遮蔽耐性を示すことを目的とする。

提案手法

• RGB観測から環境の分離可能な視覚的表現を学習するためのシーン-VAEを用いる。
• 個々のオブジェクトの分離可能な表現を学習するためのオブジェクト-VAEを採用し、事前学習時に合成遮蔽を適用する。
• オブジェクト状態の時系列的ダイナミクスをモデリングするためのLSTMネットワークを導入し、自己符号化器損失とマッチング損失で訓練する。
• 潜在空間内での遮蔽フレームの埋め込みと、最も近い未遮蔽フレームの埋め込みとの間に、対照的マッチング損失を適用する。
• 移動物体を分離するために背景差分モジュール（OpenCVのBackgroundSubtractorMOG2を用いて）を適用し、ロボットのセグメンテーションネットワークでロボット領域を前景検出から除外する。
• LSTMとオブジェクト-VAEの訓練を2段階プロセスで実施：合成トラジェクトリで事前学習した後、強化学習訓練中に歪んだリプレイバッファを用いたオンラインファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト推論を組み込んだ自己教師付き視覚的表現学習は、視覚的強化学習におけるオブジェクト遮蔽に対する耐性を向上させ得るか？
• RQ2 LSTMベースの時系列モデリングと対照的マッチング損失の組み合わせは、遮蔽下での推定精度にどのように影響するか？
• RQ3 マッチング損失係数の影響は、遮蔽レベルが異なるタスクにおいてどのように現れるか？
• RQ4 ROLLはSkew-Fitなどの最先端手法と比較して、操作精度と遮蔽一般化性能において優れているか？
• RQ5 オブジェクト位置の遮蔽下での推論能力が、LSTMとマッチング損失の統合にどれほど依存しているか？

主な発見

• ROLLは85%の合成遮蔽下でも、真のパック位置を予測する平均推定誤差が1cmに抑えられ、マッチング損失なしのLSTM（2.2cm）やオブジェクト-VAE（3.1cm）を著しく上回る。
• マッチング損失を備えたLSTMは、テストされたすべての遮蔽シナリオで正しい未遮蔽フレームを正しく再取得できた（補足図で可視化）。
• 高遮蔽タスク（例：Hurdle-Top Puck Pushing）では、VAEマッチング損失係数がモデルの性能に最も敏感であり、高い係数が性能向上に寄与する。
• 低遮蔽タスク（例：Hurdle-Bottom Puck Pushing）では、VAEマッチング損失係数が高すぎると性能がわずかに低下する傾向が見られ、タスクに応じたハイパーパramータチューニングの必要性が示された。
• ROLLはLSTMマッチング損失係数の変動に対して頑健であり、さまざまな係数値において一貫した性能を示した。
• ポリシーの可視化結果から、ROLLは特に正確なオブジェクト位置合わせを要するタスクにおいて、Skew-Fitよりもゴール状態との整合性が優れていることが示された。