[논문 리뷰] Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling

Kenny Young, Richard S. Sutton외 1명|arXiv (Cornell University)|2018. 06. 01.

Neural Networks and Reservoir Computing참고 문헌 15인용 수 6

한 줄 요약

이 논문은 장기적 의존성을 효율적으로 학습할 수 있도록 에피소딕 메모리와 리저보아르 샘플링을 통합한 새로운 강화학습 알고리즘을 제안한다. 과거 상태를 학습 가능한 중요도 가중치로 저장하고, 리저보아르 샘플링을 통한 기울기 추정을 사용함으로써, 시간에 따라 역전파하지 않고도 유용한 기억을 우선순위화하는 에이전트가 되며, 날카로운 장기적 의존성을 가진 작업에서 거의 완벽한 성능을 달성한다.

ABSTRACT

Episodic memory is a psychology term which refers to the ability to recall specific events from the past. We suggest one advantage of this particular type of memory is the ability to easily assign credit to a specific state when remembered information is found to be useful. Inspired by this idea, and the increasing popularity of external memory mechanisms to handle long-term dependencies in deep learning systems, we propose a novel algorithm which uses a reservoir sampling procedure to maintain an external memory consisting of a fixed number of past states. The algorithm allows a deep reinforcement learning agent to learn online to preferentially remember those states which are found to be useful to recall later on. Critically this method allows for efficient online computation of gradient estimates with respect to the write process of the external memory. Thus unlike most prior mechanisms for external memory it is feasible to use in an online reinforcement learning setting.

연구 동기 및 목표

• 마르코프 성질이 성립하지 않는 비마르코프 강화학습 환경에서 장기적 의존성을 학습하는 데 도전하는 것.
• 시간에 따라 역전파하지 않고도 외부 메모리를 활용한 에이전트의 효율적 온라인 훈련을 가능하게 하는 것.
• 완전한 이력 추적 없이도 미래의 유용성에 기반해 과거 상태에 대한 신뢰도 할당을 가능하게 하는 메모리 메커니즘 개발.
• 학습 가능한 중요도 가중치를 갖는 고정 크기의 과거 상태 집합을 유지하는 기울기 가능하고 확장 가능한 메모리 시스템 설계.
• 에피소딕 메모리와 리저보아르 샘플링이 날카로운 장기적 신뢰도 할당이 필요한 환경에서 안정적이고 높은 성능의 학습을 가능하게 하는지 증명하는 것.

제안 방법

• 에이전트는 고정 크기 n의 외부 메모리를 유지하며, 기울기 가능 왁기 과정을 통해 학습 가능한 중요도 가중치를 갖는 과거 상태를 저장한다.
• 리저보아르 샘플링 절차를 사용하여 과거 상태를 유지할지 여부를 확률적으로 선택함으로써, 유용성에 가중치가 부여된 상태 분포를 대표하는 메모리 집합을 확보한다.
• 기울기 추정을 리저보아르 샘플링 메커니즘에서 유도한 기반으로, 기울기 가능 경사 하강법을 사용하여 각 상태에 대한 쁄기 가중치를 학습함으로써 온라인 학습을 가능하게 한다.
• 정책 네트워크는 현재 상태와 저장된 상태 간의 유사도를 계산하는 쿼리 네트워크를 사용하여 메모리에 액세스하며, 이를 바탕으로 행동 정책을 조건화한다.
• 가치 및 정책 네트워크는 메모리에서의 경험을 사용하여 이점 기반 액터-크리틱으로 훈련되며, 전체 시스템은 표준 SGD를 사용하여 엔드 투 엔드로 최적화된다.
• 핵심 혁신은 시간에 따라 역전파가 필요 없이 쁄기 과정에 대한 기울기 추정을 유도한 점으로, 이는 온라인 훈련 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 비마르코프 환경에서, 강화학습 에이전트가 의사결정을 위해 가장 유용한 과거 상태만 우선순위화하고 유지할 수 있는가?
• RQ2 시간에 따라 역전파에 의존하지 않고도 외부 메모리 시스템을 온라인으로 훈련시킬 수 있는가?
• RQ3 리저보아르 샘플링을 사용한 에피소딕 메모리는 장기적 의존성을 학습하는 데 있어 순환 구조와 어떻게 비교되는가?
• RQ4 스트리밍 및 온라인 환경에서 메모리 쁴기 과정에 대해 기울기 추정을 효율적으로 수행할 수 있는가?
• RQ5 제안된 방법은 날카로운 장기적 신뢰도 할당이 필요한 작업에서 안정적이고 높은 성능의 학습을 달성하는가?

주요 결과

• 에피소딕 메모리 에이전트는 1-결정 및 2-결정 체인 환경에서 거의 완벽한 평균 수익을 달성하여 장기적 의존성 학습이 효과적으로 이루어졌음을 시사한다.
• 정보가 없는 상태의 쁴기 가중치는 거의 0으로 감소시키는 데 성공했고, 정보가 풍부한 상태의 쁴기 가중치는 높게 유지되어 효과적인 메모리 선택이 이루어졌음을 입증한다.
• 재앙적 루프 방지를 위해 할인 또는 엔트로피 정규화가 필요로 하지 않았으며, 이는 순환 기반 베이스라인과는 달리 안정적인 훈련을 위해 이러한 조치가 필요했다는 점과 대비된다.
• 환경 길이가 25,000에서 50,000 에피소드로 증가할 때 수렴 시간이 약 두 배로 증가했지만, 모든 실험에서 훈련이 안정적으로 유지되었다.
• 리저보아르 샘플링 기반 메모리 시스템은 역사 길이와 무관하게 일정한 메모리 및 계산 비용을 유지함으로써 확장 가능성을 보였다.
• 순환 기반 베이스라인은 안정적인 학습을 위해 RMSProp과 하이퍼파라미터 튜닝(예: γ=0.9, 엔트로피 가중치 0.0005)이 필요로 했지만, 에피소딕 메모리 에이전트는 표준 SGD로도 잘 작동했으며 이러한 조정이 필요 없었다.