[論文レビュー] Symmetry Learning for Function Approximation in Reinforcement Learning

Anuj Mahajan, Theja Tulabandhula|arXiv (Cornell University)|Jun 9, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 9

ひとこと要約

この論文は、深層強化学習における関数近似のための対称性学習フレームワークを提案する。このフレームワークは、エピソード中の報酬トレースから状態-行動対の対称性を検出し、対称性コストを用いてそれを統合することで、サンプル効率を向上させる。類似度測度の完全性が証明され、特に状態空間次元数が増加する際、グリッドワールドおよびカートポール環境で顕著な性能向上が得られ、ポテンシャルベースの報酬形状と組み合わせて効果を発揮する。

ABSTRACT

In this paper we explore methods to exploit symmetries for ensuring sample efficiency in reinforcement learning (RL), this problem deserves ever increasing attention with the recent advances in the use of deep networks for complex RL tasks which require large amount of training data. We introduce a novel method to detect symmetries using reward trails observed during episodic experience and prove its completeness. We also provide a framework to incorporate the discovered symmetries for functional approximation. Finally we show that the use of potential based reward shaping is especially effective for our symmetry exploitation mechanism. Experiments on various classical problems show that our method improves the learning performance significantly by utilizing symmetry information.

研究の動機と目的

• 環境の対称性を活用することで、深層強化学習におけるサンプル効率を向上させること。
• 環境構造の事前知識が不要な状態で、エピソード経験から自動的に対称性を発見する手法を開発すること。
• 検出された対称性を、同等の状態-行動ペアにおいて対称な方策を促進する対称性コストを用いて関数近似に統合すること。
• 対称性検出とポテンシャルベースの報酬形状を組み合わせることで、類似度推定のロバスト性を高め、データ構造のサイズを削減することの有効性を示すこと。
• 古典的制御タスクにおいてその手法を検証し、状態空間次元数の増加に伴うスケーラビリティを示すこと。

提案手法

• エピソード経験中に観測された報酬系列を分析することで、報酬トレース頻度に基づく類似度測度を用いて対称性を検出する。
• 一様な初期状態分布と対称的方策実行の下で、類似度測度の完全性を示すために、カップリング論法を定義する。
• 同等の状態-行動ペアにおいて方策が対称になるよう促進するため、学習目的関数に対称性コストを導入する。
• 類似度推定の精度を向上させ、対称性検出に必要なデータ構造のサイズを削減するために、ポテンシャルベースの報酬形状を用いる。
• 深層Qネットワークやその他の関数近似器にこのフレームワークを適用し、最小限の計算オーバーヘッドでスケーラブルな対称性統合を実現する。
• 状態-行動ペア間の対称性関係を形式化する理論的基盤として、MDPホモモーフィズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習環境における対称性は、エピソード中の報酬観測から自動的に発見可能か？
• RQ2 対称的方策実行下で、提案された状態-行動ペアの類似度測度は、対称的遷移を完全に同定できるか？
• RQ3 検出された対称性を対称性コストを用いて統合することで、深層関数近似におけるサンプル効率はどのように向上するか？
• RQ4 ポテンシャルベースの報酬形状は、対称性検出のロバスト性と効率性をどの程度向上させるか？
• RQ5 グリッドワールドのような環境において、状態空間次元数の増加に伴い、対称性の活用はどのようにスケーリングするか？

主な発見

• カップリング論法により、一様な初期状態分布と対称的方策実行の下で、対称な状態-行動ペアが同一の報酬系列を示すことが証明されたことから、提案手法の対称性検出は完全性を有する。
• グリッドワールドおよびカートポール環境において、対称性情報を活用することで学習性能が顕著に向上し、特に状態空間次元数が増加する際の恩恵が顕著に現れる。
• グリッドワールドでは、収束が速く、サンプル効率が向上し、ベースラインと比較して最長で1.43倍の遅延で学習が実行された。
• カートポールでは、ベースラインと比較して最長で1.57倍の遅延で学習が実行されたが、サンプル効率と性能が優れていた。
• ポテンシャルベースの報酬形状の統合により、データ構造のサイズが削減され、類似度推定のロバスト性が向上し、対称性検出の精度が向上した。
• 高次元環境においてもフレームワークは良好にスケーリングし、対称性の数が組み合わせ的に増加する（例：d次元グリッドワールドではO(d!2^d)）ことから、顕著なサンプル効率の向上が得られた。