[論文レビュー] Unsupervised Video Object Segmentation for Deep Reinforcement Learning

Vikash Goel, Jameson Weng+1 more|arXiv (Cornell University)|May 1, 2018

Reinforcement Learning in Robotics被引用数 38

ひとこと要約

本稿では、構造からの動きを用いて動く物体を検出し、セグメンテーションする非教師あり手法であるモーション指向強化学習（MOREL）を提案する。この手法は、動く物体のセグメンテーション結果を用いて、深層強化学習における方策学習をガイドする。モーションに敏感な表現に注目することで、環境との相互作用回数を削減し、アタリゲームにおける方策の解釈可能性を向上させる。

ABSTRACT

We present a new technique for deep reinforcement learning that automatically detects moving objects and uses the relevant information for action selection. The detection of moving objects is done in an unsupervised way by exploiting structure from motion. Instead of directly learning a policy from raw images, the agent first learns to detect and segment moving objects by exploiting flow information in video sequences. The learned representation is then used to focus the policy of the agent on the moving objects. Over time, the agent identifies which objects are critical for decision making and gradually builds a policy based on relevant moving objects. This approach, which we call Motion-Oriented REinforcement Learning (MOREL), is demonstrated on a suite of Atari games where the ability to detect moving objects reduces the amount of interaction needed with the environment to obtain a good policy. Furthermore, the resulting policy is more interpretable than policies that directly map images to actions or values with a black box neural network. We can gain insight into the policy by inspecting the segmentation and motion of each object detected by the agent. This allows practitioners to confirm whether a policy is making decisions based on sensible information. Our code is available at https://github.com/vik-goel/MOREL.

研究の動機と目的

• 非教師あり動画オブジェクトセグメンテーションを活用することで、深層強化学習のサンプル複雑性を低減すること。
• 原始ピクセルではなく、動き検出オブジェクトに学習を集中させることで、方策の解釈可能性を向上させること。
• 自己教師ありの動き分析を通じて、行動的に関連する動くオブジェクトを同定・優先する能力をエージェントに与えること。
• 動くオブジェクトに敏感な表現が、動画環境におけるより効率的で透明な方策学習をもたらすことを実証すること。

提案手法

• エージェントはまず、動画フレームに対して非教師ありの構造からの動き技術を用いて、動くオブジェクトを検出する。
• オプティカルフローを用いて動きのパターンを推定し、教師なしのアノテーションで動くオブジェクトを同定する。
• 検出された動くオブジェクトはセグメンテーションされ、方策ネットワークの入力特徴として使用される。
• 方策は、セグメンテーションされた動きオブジェクトに基づいて行動するように学習され、原始ピクセル入力への依存度が低下する。
• オブジェクトセグメンテーションと方策学習を統合したフレームワークを採用し、関連する動くエンティティに注目するよう促進する。
• 本手法は、アタリゲームのサブセットで評価され、環境との相互作用回数を減らして方策を学習した。

実験結果

リサーチクエスチョン

• RQ1 非教師あり動画オブジェクトセグメンテーションは、深層強化学習におけるサンプル効率を向上させることができるか？
• RQ2 動き検出オブジェクトに注目することで、エンドツーエンドのピクセルベース学習と比較して、より解釈可能な方策が得られるか？
• RQ3 教師なしで、構造からの動きを用いて強化学習における行動的に関連するオブジェクトを効果的に同定できるか？
• RQ4 動きに敏感な表現学習は、アタリ環境における方策のパフォーマンスと学習効率にどのように影響を与えるか？

主な発見

• MORELは、動き検出オブジェクトに注目することで、強力な方策を学習するために必要な環境との相互作用回数を削減した。
• 意思決定が特定のセグメンテーション済みの動くオブジェクトに追跡できるため、得られた方策はより解釈可能である。
• 本手法は、動画シーケンスからの完全に非教師ありの動きの手がかりのみを用いて、アタリゲームで競争力のあるパフォーマンスを達成した。
• エージェントは自己教師あり分析を通じて、敵やターゲットなどの重要な動くオブジェクトを同定・優先する能力を学習した。