[論文レビュー] The Utility of Sparse Representations for Control in Reinforcement Learning

Vincent Liu, Raksha Kumaraswamy+2 more|arXiv (Cornell University)|Nov 15, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 9

ひとこと要約

本論文は、分布正則化項（特にSet KL）を用いて、深層強化学習におけるスパースで局所化された表現を学習する、新規な手法、Sparse Representation Neural Network (SR-NN) を提案する。活性化分布を用いて低く安定したノード活性を促進することでスパarsityを強制し、Catastrophic Interference（崩壊的干渉）を軽減し、環境をまたがる制御性能を向上させる。本手法は、インクリメンタル学習設定下で標準的な密接続ネットワークや先行するスパース学習手法を上回る性能を示す。

ABSTRACT

We investigate sparse representations for control in reinforcement learning. While these representations are widely used in computer vision, their prevalence in reinforcement learning is limited to sparse coding where extracting representations for new data can be computationally intensive. Here, we begin by demonstrating that learning a control policy incrementally with a representation from a standard neural network fails in classic control domains, whereas learning with a representation obtained from a neural network that has sparsity properties enforced is effective. We provide evidence that the reason for this is that the sparse representation provides locality, and so avoids catastrophic interference, and particularly keeps consistent, stable values for bootstrapping. We then discuss how to learn such sparse representations. We explore the idea of Distributional Regularizers, where the activation of hidden nodes is encouraged to match a particular distribution that results in sparse activation across time. We identify a simple but effective way to obtain sparse representations, not afforded by previously proposed strategies, making it more practical for further investigation into sparse representations for reinforcement learning.

研究の動機と目的

• スパース表現が強化学習におけるインクリメンタルポリシー学習を改善するかどうかを調査すること。
• 密接続ニューラルネットワーク表現がインクリメンタル強化学習で失敗する理由（崩壊的干渉）を特定すること。
• ニューラルネットワークを用いたスパース表現の学習のための実用的でスケーラブルな手法を開発すること。
• スパarsityがブートストラappingの安定性および制御タスクにおけるポリシー性能に与える影響を評価すること。
• 既存のスパース表現学習手法と比較して、SR-NNの性能を強化学習設定下で評価すること。

提案手法

• 隠れ層の活性化にスパース性を強制するために、分布正則化項を用いるSparse Representation Neural Network (SR-NN) を提案する。
• 時間経過にわたる活性化パターンに局所的でスパースな構造を促進するため、Set KL散発正則化項を採用する。
• 各隠れユニットの活性化分布がスパースなターゲット分布に一致するように正則化する、修正された学習目的関数を用いる。
• オンラインで逐次学習を行う際、ブートストラップのための一貫性のある価値推定を維持するために正則化項を適用する。
• ℓ1/ℓ2正則化、k-sparse、WTA-NNs などの代替手法と比較し、ReLUおよびシグモイド活性化関数を用いる。
• 古典的制御ドメイン全体で性能を評価するために、関数近似を用いたSarsa(0)を採用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク表現におけるスパarsityを強制することで、インクリメンタル強化学習における制御性能が向上するか？
• RQ2 なぜ密接続表現はインクリメンタル強化学習で失敗するのか？スパarsityはどのようにこれを緩和するか？
• RQ3 Set KL などの分布正則化項は、外挿問題を回避しながら、スパースで安定した表現を効果的に学習できるか？
• RQ4 SR-NNは、既存のスパース表現学習手法と比較して、スパarsityと性能の両面で優れているか？
• RQ5 スパarsityは、ブートストラップベースの強化学習アルゴリズムにおける崩壊的干渉をどの程度軽減するか？

主な発見

• SR-NNは、Puddle World、Mountain Car、Catcherを含むすべてのテストドメインで、インクリメンタルSarsa(0)学習において標準的な密接続ニューラルネットワークを顕著に上回る性能を示した。
• シグモイド活性化関数とKL正則化項を組み合わせた（SIG+KLおよびSIG+SKL）手法は、意味的なスパース性を達成できず、結果として密な活性化パターンと低い性能を示した。
• ReLUに指数分布正則化項を適用した場合、インスタンススパarsityが高く（2–3％）安定した性能が得られた。一方、活性化にℓ2正則化を適用した場合も、大多数のドメインでSR-NNと同等の性能を示した。
• k-sparse-NNおよびWTA-NN手法は、理論的優位性にもかかわらず、死滅ユニットの発生やスパarsity制御の不十分さにより、効果を発揮しなかった。
• ヒートマップの結果、SR-NNは局所的でスパースな活性化を生成しているのに対し、SIG+KLなどのベースライン手法は、入力に対してほぼすべての隠れユニットを活性化していた。
• これらの結果から、スパarsityがブートストラップの過程で安定した価値推定を維持することで、崩壊的干渉を軽減し、特に単一タスクで逐次的に学習する設定において顕著な効果を示すことが示唆された。