[논문 리뷰] Fast deep reinforcement learning using online adjustments from the past

Steven Hansen, Pablo Sprechmann외 3명|arXiv (Cornell University)|2018. 10. 18.

Reinforcement Learning in Robotics인용 수 18

한 줄 요약

이 논문은 Ephemeral Value Adjustments (EVA)를 제안하며, 이는 재생 버퍼 내 최근 경험에 대한 메모리 기반 계획을 통해 딥 강화학습 에이전트가 가치 함수 예측을 빠르게 조정할 수 있도록 한다. 에피소딕 메모리 검색과 온라인 가치 조정을 결합함으로써 EVA는 기존 DQN 아키텍처나 하이퍼파라미터를 수정하지 않고도 아타리 게임에서 학습 속도와 최종 성능을 향상시키며, 4000만 프레임 이내에 베이스라인 성능을 달성한다.

ABSTRACT

We propose Ephemeral Value Adjusments (EVA): a means of allowing deep reinforcement learning agents to rapidly adapt to experience in their replay buffer. EVA shifts the value predicted by a neural network with an estimate of the value function found by planning over experience tuples from the replay buffer near the current state. EVA combines a number of recent ideas around combining episodic memory-like structures into reinforcement learning agents: slot-based storage, content-based retrieval, and memory-based planning. We show that EVAis performant on a demonstration task and Atari games.

연구 동기 및 목표

• 재생 버퍼 내 고보상 경험에 대한 딥 강화학습 에이전트의 느린 적응 문제를 해결하기 위해.
• 메인 학습 알고리즘을 변경하지 않고 과거 경험을 활용한 빠른 국소적 가치 함수 조정을 통해 샘플 효율성을 향상시키기 위해.
• 신경과학에서 영감을 받은 보완적 학습 시스템을 기반으로 빠른 에피소딕 제어와 느린 일반화 모델-프리 학습을 결합하기 위해.
• 일시적이고 지속되지 않는 가치 조정이 학습을 크게 가속화하면서도 안정성을 유지할 수 있는지 확인하기 위해.

제안 방법

• 에피소딕 메모리 검색을 가능하게 하기 위해 궤적 포인터와 은닉 활성도를 재생 버퍼에 저장하여 시간적으로 인접한 경험 튜플에 대한 메모리 기반 계획을 가능하게 한다.
• 파라메트릭 유사도 측정을 사용해 관련된 과거 경험을 검색하고 가치 함수 향상 정도를 추정하는 온라인 계획을 수행한다.
• 트레이스 기반 가치 조정을 계산하며, 궤적 내 행동과 가상 행동 평가를 통해 가치 추정의 정확도를 향상시킨다.
• 조정은 일시적이다 — 결정 시점에만 적용되며 저장되지 않아 주 가치 함수 업데이트의 안정성을 유지한다.
• 표준 DQN과 통합하기 위해 추론 시점에서 딥 네트워크 출력과 에피소딕 계획의 가중 조합을 사용해 가치 예측을 수정한다.
• 이 접근법은 파라미터 λ를 사용해 에피소딕 조정이 최종 행동 선택에 기여하는 정도를 조절한다.

실험 결과

연구 질문

• RQ1 에피소딕 메모리 기반 계획은 핵심 학습 절차를 수정하지 않고도 딥 강화학습 에이전트의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 기존의 기울기 기반 업데이트와 비교해 온라인, 일시적 가치 조정은 학습 속도와 최종 성능 측면에서 어떻게 다른가?
• RQ3 에피소딕 계획 과정에 가상 행동 평가를 포함시키는 것이 정책 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 메모리 기반 계획이 재생 버퍼 내 데이터 분포를 개선함으로써 주 가치 함수의 성능 향상에 간접적으로 기여하는가?
• RQ5 조정의 일시성은 악성 피드백 루프를 방지하고 학습 안정성을 유지하는 데 기여하는가?

주요 결과

• EVA는 표준 DQN과 비교해 아타리 게임에서 학습 속도와 최종 성능을 향상시키며, 4000만 프레임 이내에 베이스라인 성능 수준에 도달한다.
• 가상 행동 평가를 생략한 n단계 트레이스 계산의 추론 분석에서는 성능 저하와 불안정성이 심각하게 발생함을 확인했으며, 이는 해당 구성 요소의 중요성을 시사한다.
• 파라메트릭 유사도를 사용한 표준 트레이스 계산은 더 계산 비용이 많이 드는 KBRL 방법보다 우수한 성능을 보이며, 더 단순한 에피소딕 계획이 충분하고 더 안정적임을 시사한다.
• λ=0.4로 설정한 EVA는 여러 게임에서 표준 DQN(λ=0)보다 더 높은 인간 기준 정규화 점수를 기록하며 성능 변동성이 낮다.
• 두 백만 단계 동안 λ를 점진적으로 0으로 줄이는 것은 성능 저하를 유발하지 않으며, 이는 파라미터 모델이 에피소딕 지식을 통합할 수 있으며 EVA에 지속적인 의존 없이도 기능함을 확인한다.