[論文レビュー] MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning

Elise van der Pol, Daniel E. Worrall+3 more|UvA-DARE (University of Amsterdam)|Jun 30, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 47

ひとこと要約

MDPホモモルフィックネットワークを紹介し、ポリシーと価値ネットワークにグループ構造の等変性を課すことで、対称な状態-行動ペア間でパラメータ共有を可能にし、DRLタスクの学習を加速する。

ABSTRACT

This paper introduces MDP homomorphic networks for deep reinforcement learning. MDP homomorphic networks are neural networks that are equivariant under symmetries in the joint state-action space of an MDP. Current approaches to deep reinforcement learning do not usually exploit knowledge about such structure. By building this prior knowledge into policy and value networks using an equivariance constraint, we can reduce the size of the solution space. We specifically focus on group-structured symmetries (invertible transformations). Additionally, we introduce an easy method for constructing equivariant network layers numerically, so the system designer need not solve the constraints by hand, as is typically done. We construct MDP homomorphic MLPs and CNNs that are equivariant under either a group of reflections or rotations. We show that such networks converge faster than unstructured baselines on CartPole, a grid world and Pong.

研究の動機と目的

• MDPにおける対称性の活用を動機づけ、それを解空間の削減へ正式化する。
• 状態-行動対称群の下で等変であるニューラルネットワークを導入する。
• 等変性ネットワーク層を自動的に構築する実用的な手法を提供する。
• 対称性を活用することで標準RLベンチマークでの収束をより速くすることを示す。

提案手法

• 結合状態-行動空間におけるMDPホモモルフィズムと群構造の対称性を定義する。
• リフトされたポリシーが不変であることを示し、問題を群等変ネットワークとして等価に定式化する。
• 任意の重みを等変部分空間に射影する対称化器(symmetrizer)を用いて等変層を構築する数値手順を提案する。
• ポリシーネットワークを、データから学習された基底等変重みの線形結合として表現する。
• CartPole、グリッドワールド、Pong において、MLP、CNN、および等変特徴抽出器へこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 MDPの対称性を、方策/価値空間を削減するために群構造を持つMDPホモモルフィズムとしてどのように正式化できるか。
• RQ2 手動で拘束条件を導出することなく、これらの対称性の下で自動的に等変となるニューラルネットワークを構築できるか。
• RQ3 等変（MDPホモモルフィック）ネットワークは、対称なRLタスクにおいて非等変なベースラインより収束が速いか。
• RQ4 等変特徴抽出器を使用することと、完全に等変なアーキテクチャを使用することが学習速度に与える影響は何か。

主な発見

• MDPホモモルフィックネットワークはCartPole、グリッドワールド、Pongで無構造ベースラインより収束が速い。
• 自動化手法（対称化器）が、手動で拘束を導出することなく等変層を構築する。
• 等変基底ネットワークは、いくつかのタスクでランダム基底やnullspace基底より収束速度が速い。
• 等変特徴抽出器は、いくつかのタスクで完全な等変ネットワークより収束を速くできる。
• Pong においてデータ拡張は、対称性を直接ネットワーク重みに埋め込む方が効果的である。
• いくつかのケースでベースライン CNN は等変な変種と比較して収束が遅い。