[논문 리뷰] Learning Sparse Representations Incrementally in Deep Reinforcement Learning

J. Fernando Hernandez-Garcia, Richard S. Sutton|arXiv (Cornell University)|2019. 12. 09.

Reinforcement Learning in Robotics참고 문헌 18인용 수 8

한 줄 요약

이 논문은 증분 정규화를 통해 딥 Q네트워크(DQN)가 희소 표현과 행동가치 함수를 동시에 학습할 수 있음을 보여주며, 누적 보상 향상과 경험 리プレイ 버퍼 크기에 대한 강건성 향상을 이룬다. 주요 기여는 희소성이 치명적 간섭을 완화시킨다는 것을 보여주는 바이며, 이는 뉴런 사망을 최소화할 때에만 성립한다.

ABSTRACT

Sparse representations have been shown to be useful in deep reinforcement learning for mitigating catastrophic interference and improving the performance of agents in terms of cumulative reward. Previous results were based on a two step process were the representation was learned offline and the action-value function was learned online afterwards. In this paper, we investigate if it is possible to learn a sparse representation and the action-value function simultaneously and incrementally. We investigate this question by employing several regularization techniques and observing how they affect sparsity of the representation learned by a DQN agent in two different benchmark domains. Our results show that with appropriate regularization it is possible to increase the sparsity of the representations learned by DQN agents. Moreover, we found that learning sparse representations also resulted in improved performance in terms of cumulative reward. Finally, we found that the performance of the agents that learned a sparse representation was more robust to the size of the experience replay buffer. This last finding supports the long standing hypothesis that the overlap in representations learned by deep neural networks is the leading cause of catastrophic interference.

연구 동기 및 목표

• 딥 강화학습에서 행동가치 함수를 실시간으로 학습하는 동안 희소 표현을 증분적으로 학습할 수 있는지 조사한다.
• 희소 표현을 활용하여 딥 신경망에서의 치명적 간섭을 완화하는 전략으로 활용한다.
• 다양한 정규화 기법이 희소성, 성능, 경험 리플레이 버퍼 크기에 대한 강건성에 미치는 영향을 평가한다.
• 희소성과 뉴런 생존 간의 트레이드오프를 탐색하여 최적의 표현 학습 전략을 규명한다.
• 희소 표현이 고차원 RL 환경에서 일반화 능력을 향상시키고 간섭을 감소시킨다는 경험적 증거를 제공한다.

제안 방법

• 온라인 훈련 중에 DQN 에이전트의 히든 레이어 활성화에 L1 및 L2 정규화를 적용하여 희소성을 유도한다.
• 가중치 감소(L2)와 활성화 정규화(L1)를 사용하여 히든 유닛 활성화의 크기와 희소성을 제어한다.
• 목표 네트워크와 경험 리플레이를 구현하여 훈련을 안정화시키며, 정규화 효과가 훈련 불안정성에 의해 왜곡되지 않도록 한다.
• 다양한 버퍼 크기를 가진 경험 리플레이를 사용하여 증분적으로 에이전트를 훈련시고, 간섭에 대한 강건성을 평가한다.
• 히든 유닛 간의 정규화된 활성화 겹침을 측정하여 희소성과 간섭 수준을 정량화한다.
• 각 정규화 방법에 대해 다수의 버퍼 크기에서 하이퍼파ram터를 최적화하고, 500회 반복한 평균 성능 및 95% 신뢰구간을 보고한다.

실험 결과

연구 질문

• RQ1 실시간 행동가치 함수 학습 중에 DQN 에이전트가 증분적으로 희소 표현을 학습할 수 있는가?
• RQ2 희소 표현 학습이 딥 강화학습에서 누적 보상 성능을 향상시키는가?
• RQ3 희소 표현을 학습한 DQN 에이전트의 성능은 경험 리플레이 버퍼 크기의 변화에 더 강건한가?
• RQ4 전반적인 에이전트 성능 측면에서 희소성과 뉴런 생존 간의 트레이드오프는 어떠한가?
• RQ5 활성화 겹침 감소(희소성의 지표)는 DQN 에이전트에서 치명적 간섭 감소와 관련이 있는가?

주요 결과

• 적절한 정규화를 통해 DQN 에이전트는 행동가치 함수 학습 중에 증분적으로 희소 표현을 학습할 수 있으며, 이는 누적 보상 성능 향상에 기여한다.
• 히든 유닛 활성화에 대한 L2 정규화(L2_A)는 마운틴카 환경에서 가장 높은 희소성과 최고의 성능를 기록했으며, 가중치에 대한 L1 정규화(L1_W)는 다소 더 농축된 표현임에도 불구하고 뛰어난 성능를 보였다.
• 희소 표현을 학습한 에이전트는 경험 리플레이 버퍼 크기 변화에 더 강건했으며, 특히 마운틴카 환경에서 L1_W와 L2_A는 다양한 버퍼 크기에서 안정적인 성능를 유지했다.
• 극도로 공격적인 정규화(예: L1_A)로 인한 뉴런 사망이 과도하게 발생하면 성능이 악화되었으며, 이는 희소성만으로는 부족하고 뉴런 생존이 핵심임을 시사한다.
• 결과는 DNN에서 겹치는 표현이 치명적 간섭의 주요 원인임을 지지하며, 희소 표현이 특징 겹침을 줄여 간섭을 완화시킨다는 것을 확인한다.
• 가장 뛰어난 성능를 보인 방법들은 희소성과 뉴런 유지 간의 균형을 잘 잡았으며, 향후 연구는 너무 많은 뉴런을 사망시키지 않으면서도 희소 표현을 학습하는 데에 초점을 맞춰야 한다.