[論文レビュー] Learning Sparse Representations Incrementally in Deep Reinforcement Learning

J. Fernando Hernandez-Garcia, Richard S. Sutton|arXiv (Cornell University)|Dec 9, 2019

Reinforcement Learning in Robotics参考文献 18被引用数 8

ひとこと要約

この論文は、深層Qネットワーク（DQN）が段階的正則化を通じてスパース表現とアクション価値関数を同時に学習できることを示しており、累積報酬を向上させるとともに、経験リプレイバッファーサイズの変動に対しても頑健性が向上することを明らかにした。主な貢献は、スパース性が崩壊的干渉を緩和することを示しているが、これはニューロン死を最小限に抑えた場合に限る。

ABSTRACT

Sparse representations have been shown to be useful in deep reinforcement learning for mitigating catastrophic interference and improving the performance of agents in terms of cumulative reward. Previous results were based on a two step process were the representation was learned offline and the action-value function was learned online afterwards. In this paper, we investigate if it is possible to learn a sparse representation and the action-value function simultaneously and incrementally. We investigate this question by employing several regularization techniques and observing how they affect sparsity of the representation learned by a DQN agent in two different benchmark domains. Our results show that with appropriate regularization it is possible to increase the sparsity of the representations learned by DQN agents. Moreover, we found that learning sparse representations also resulted in improved performance in terms of cumulative reward. Finally, we found that the performance of the agents that learned a sparse representation was more robust to the size of the experience replay buffer. This last finding supports the long standing hypothesis that the overlap in representations learned by deep neural networks is the leading cause of catastrophic interference.

研究の動機と目的

• 深層強化学習において、アクション価値関数のリアルタイム学習と並行して、スパース表現を段階的に学習できるかを調査する。
• スパース表現を活用することで、深層ニューラルネットワークにおける崩壊的干渉を緩和する戦略を提案する。
• 異なる正則化手法がスパース性、パフォーマンス、経験リプレイバッファーサイズの変動に対する頑健性に与える影響を評価する。
• スパース性とニューロン生存の間のトレードオフを明らかにし、最適な表現学習戦略を特定する。
• スパース表現が高次元のRL環境における一般化性能を向上させるとともに干渉を低減することを実証的に示す。

提案手法

• オンライン学習中に隠れ層の活性化にL1およびL2正則化を適用し、スパース性を促進する。
• 重み減衰（L2）と活性化正則化（L1）を用いて、隠れユニットの活性化の大きさとスパース性を制御する。
• 訓練の安定性を確保するため、ターゲットネットワークと経験リプレイを導入し、正則化効果が訓練不安定性によって歪められないようにする。
• 異なるバッファサイズを用いた経験リプレイを用いて段階的にエージェントを訓練し、干渉に対する頑健性を評価する。
• 隠れユニット間の正規化された活性化オーバーラップを測定し、スパース性と干渉レベルを定量化する。
• 複数のバッファサイズに対して各正則化手法のハイパーパrameterを最適化し、500回の実行平均（95%信頼区間）を報告する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでのアクション価値関数学習と並行して、DQNエージェントが段階的にスパース表現を学習できるか？
• RQ2 スパース表現の学習が、深層強化学習における累積報酬パフォーマンスを向上させるか？
• RQ3 スパース表現を学習するDQNエージェントのパフォーマンスは、経験リプレイバッファーサイズの変動に対してより頑健か？
• RQ4 スパース性とニューロン生存の間のトレードオフは、エージェント全体のパフォーマンスにどのように影響するか？
• RQ5 活性化オーバーラップの低減（＝スパース性の指標）は、DQNエージェントにおける崩壊的干渉の低減と相関するか？

主な発見

• 適切な正則化を施すことで、DQNエージェントはアクション価値関数の学習と並行してスパース表現を段階的に学習でき、累積報酬パフォーマンスが向上する。
• Mountain Car環境では、活性化へのL2正則化（L2_A）が最も高いスパース性と最良のパフォーマンスを達成したが、重みへのL1正則化（L1_W）はやや密度の高い表現であったものの、強力なパフォーマンスを示した。
• スパース表現を学習するエージェントは、経験リプレイバッファーサイズの変化に対してより頑健であった。特にMountain Carでは、L1_WとL2_Aがバッファサイズの変化に関係なく安定したパフォーマンスを示した。
• 過度なニューロン死（例：L1_A）はパフォーマンスを悪化させた。これは、スパース性そのものが十分ではなく、ニューロンの生存が不可欠であることを示唆している。
• 結果は、DNNにおける重なりのある表現が崩壊的干渉の主な原因であるという仮説を支持しており、スパース表現が特徴の重なりを減らすことで干渉を緩和することを示している。
• 最良のパフォーマンスを示した手法は、スパース性とニューロン保持のバランスを取っていた。今後の研究は、多すぎるニューロンの死を伴わずにスパース表現を学習する戦略に焦点を当てるべきである。