[論文レビュー] $\mathrm{SO}(2)$-Equivariant Reinforcement Learning

Dian Wang, Robin Walters+1 more|arXiv (Cornell University)|Mar 8, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、回転対称性を持つロボット操作タスク向けに、SO(2)-等変性を備えた深層強化学習アルゴリズム—Equivariant DQN および Equivariant SAC—を提案する。ニューラルネットワークのアーキテクチャをSO(2)回転対称性を内蔵する形に構築することで、データ拡張ベースラインと比較して著しく高いサンプル効率を達成し、訓練時に単一の方向でのみ学習したとしても、物体の方向にわたる一般化を実現するポリシーを学習できる。

ABSTRACT

Equivariant neural networks enforce symmetry within the structure of their convolutional layers, resulting in a substantial improvement in sample efficiency when learning an equivariant or invariant function. Such models are applicable to robotic manipulation learning which can often be formulated as a rotationally symmetric problem. This paper studies equivariant model architectures in the context of $Q$-learning and actor-critic reinforcement learning. We identify equivariant and invariant characteristics of the optimal $Q$-function and the optimal policy and propose equivariant DQN and SAC algorithms that leverage this structure. We present experiments that demonstrate that our equivariant versions of DQN and SAC can be significantly more sample efficient than competing algorithms on an important class of robotic manipulation problems.

研究の動機と目的

• 環境に内在する回転対称性を活用することで、ロボット強化学習におけるサンプル効率を向上させること。
• 遷移関数および報酬関数がSO(2)回転に対して不変である群不変MDPのクラスを形式化すること。
• SO(2)回転に対して本質的に等変性を有するニューラルネットワークアーキテクチャを設計し、データ拡張による近似ではなく正確な対称性を保証すること。
• 等変性モデルが標準的または拡張ベースラインと比較して、物体の方向にわたる一般化が優れていることを示すこと。
• 等変性学習を連続制御（SAC）および模倣学習（LfD）に拡張し、広範な適用可能性を示すこと。

提案手法

• Qネットワークおよびポリシー・ネットワークにSO(2)-等変性畳み込み層を導入し、特徴表現における回転等変性を強制する。
• SO(2)-不変な状態表現を用いることで、離散的行動空間においても等変性を維持する、新たなEquivariant DQNの変種を提案する。
• SACアルゴリズムを変更し、SO(2)-等変性を有するクライアントおよびポリシーを用いることで、連続制御における対称性を保持するEquivariant SACを開発する。
• 同じ等変性アーキテクチャを模倣学習（LfD）に適用し、少ない数の示範からも一般化を可能にする。
• SO(2)データ拡張を用いたバッファを用いるが、等変性モデルが同じ拡張を用いたベースラインでさえも上回ることを示す。
• ベースライン比較において、最先端のデータ拡張手法と公平な評価を確保するため、対照的学習損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 SO(2)-等変性ニューラルネットワークアーキテクチャは、回転対称性を持つロボット操作タスクにおけるサンプル効率を向上させることができるか？
• RQ2 単一の物体方向でのみ学習した等変性モデルは、ランダムに方向が設定されたテスト環境において、どのように一般化するか？
• RQ3 アーキテクチャ上の等変性を強制することは、等変性を近似的に実現するデータ拡張技術を上回るか？
• RQ4 等変性深層RLは、連続制御（SAC）および模倣学習（LfD）に成功裏に拡張可能か？
• RQ5 RAD や DrQ といった最先端のデータ拡張ベースラインと比較して、SO(2)拡張を用いる場合、等変性モデルとベースラインとの性能差はどの程度か？

主な発見

• Equivariant SACfD は、4つのロボット操作タスクすべてにおいて、RAD や DrQ にSO(2)データ拡張を適用したベースラインを上回り、特に挑戦的なタスクで最大の向上を示した。
• corner picking および house building タスクは、物体の方向にわたる一般化を要するが、それらを成功裏に解決したのは唯一等変性モデルであった。
• 一般化実験では、等変性モデルは単一の固定方向でのみ学習したとしても、SO(2)回転にわたる一般化を効果的に実現したが、すべてのベースラインは失敗した。
• 等変性モデルは、はるかに少ない環境との相互作用回数で優れた性能を達成し、データ拡張ベースラインよりも顕著に高いサンプル効率を示した。
• 提案されたEquivariant SACおよびDQNの変種は、ブロック引き抜き、ドア開閉、ブロック積み上げ、ハウスビルドといった複数の環境で一貫した改善を示した。
• 結果から、データ拡張による等変性の学習よりも、等変性をアーキテクチャに組み込む誘導的バイアスの方が、より効果的であることが示された。