[논문 리뷰] Learning to Sample with Local and Global Contexts in Experience Replay Buffer

Youngmin Oh, Kimin Lee외 3명|arXiv (Cornell University)|2020. 07. 14.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 신경 경험 재생 샘플러(NERS)를 제안한다. NERS는 개별 전이 특징(로컬 컨텍스트)과 모든 전이에 걸친 전반적 맥락(글로벌 컨텍스트)을 함께 모델링하여 상대적 중요도를 계산함으로써, 비정책 강화학습에서 샘플 효율성을 향상시키는 학습 기반 샘플링 방법이다. NERS는 치환 불변 신경망을 사용하여 다양하고 의미 있는 전이를 선택하며, 연속적 및 이산적 제어 벤치마크에서 여러 비정책 RL 알고리즘에서 성능을 크게 향상시킨다.

ABSTRACT

Experience replay, which enables the agents to remember and reuse experience from the past, has played a significant role in the success of off-policy reinforcement learning (RL). To utilize the experience replay efficiently, the existing sampling methods allow selecting out more meaningful experiences by imposing priorities on them based on certain metrics (e.g. TD-error). However, they may result in sampling highly biased, redundant transitions since they compute the sampling rate for each transition independently, without consideration of its importance in relation to other transitions. In this paper, we aim to address the issue by proposing a new learning-based sampling method that can compute the relative importance of transition. To this end, we design a novel permutation-equivariant neural architecture that takes contexts from not only features of each transition (local) but also those of others (global) as inputs. We validate our framework, which we refer to as Neural Experience Replay Sampler (NERS), on multiple benchmark tasks for both continuous and discrete control tasks and show that it can significantly improve the performance of various off-policy RL methods. Further analysis confirms that the improvements of the sample efficiency indeed are due to sampling diverse and meaningful transitions by NERS that considers both local and global contexts.

연구 동기 및 목표

• 기존의 규칙 기반 및 독립적인 학습 기반 샘플링 방법이 경험 재생에서 편향되거나 중복된 샘플링을 유도하는 한계를 해결하기 위해.
• 로컬 특징과 글로벌 맥락을 모두 고려하여 전이의 상대적 중요도를 학습함으로써 비정책 강화학습에서 샘플 효율성을 향상시키기 위해.
• 재생 버퍼 샘플링에서 다양성과 의미 있는 전이 간의 동적 균형을 이루는 신경 기반 샘플링 정책을 개발하기 위해.
• 로컬 및 글로벌 맥락을 통한 상대적 중요도 모델링이 다양한 RL 알고리즘에서 뛰어난 성능을 이끌어내는지 검증하기 위해.

제안 방법

• NERS는 전이 특징의 집합을 입력으로 사용하는 치환 불변 신경망 아키텍처를 사용하여 입력 순서에 대해 불변성을 확보하고 전이 간 상호의존성을 모델링한다.
• 모델은 로컬 특징(예: TD 오차, Q-값, 원본 상태-행동-보상)과 모든 샘플된 전이에 걸친 집계된 특징(글로벌 컨텍스트)을 사용하여 각 전이의 상대적 중요도 점수를 계산한다.
• 중요도 점수는 에이전트의 수익을 최대화하는 미분 가능한 목적함수를 통해 엔드 투 엔드로 학습되며, 이는 샘플링 정책의 기울기 기반 최적화를 가능하게 한다.
• 이 방법은 기존의 비정책 강화학습 알고리즘인 SAC, TD3, Rainbow에 통합되어 표준 재생 샘플링 전략을 대체한다.
• NERS는 에이전트의 수익을 프록시 신호로 사용하여 자기지도 학습 방식으로 훈련되며, 명시적 지도 없이 효과적인 샘플링 패턴을 학습할 수 있다.

실험 결과

연구 질문

• RQ1 로컬 및 글로벌 맥락을 함께 모델링하는 신경 기반 샘플링 정책이 비정책 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 전이 간 상대적 중요도를 학습하는 것이 독립적 또는 규칙 기반 샘플링 전략보다 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 다양한 연속적 및 이산적 제어 작업에서 NERS는 이전의 학습 기반 및 규칙 기반 샘플링 방법과 비교해 어떻게 성능을 내는가?
• RQ4 샘플링 시 다양성과 의미 있는 전이를 함께 고려할 경우 성능 향상에 얼마나 기여하는가?

주요 결과

• NERS는 연속적 및 이산적 제어 벤치마크에서 SAC, TD3, Rainbow를 포함한 여러 비정책 RL 알고리즘에서 샘플 효율성과 최종 성능을 크게 향상시켰다.
• 특히 중간 상태 탐색이 필요한 환경에서 표준 랜덤 샘플링 및 규칙 기반 우선순위 경험 재생(PER)보다 뚜렷한 성능 향상을 보였다.
• 제거 실험을 통해 성능 향상가능성이 NERS가 로컬 및 글로벌 맥락을 함께 고려하여 상대적 중요도를 모델링함으로써 다양하고 의미 있는 전이를 선택할 수 있기 때문임을 확인했다.
• 개별 전이 특징만 고려하는 이전의 학습 기반 샘플링 방법보다도 NERS가 뛰어난 성능을 보이며, 글로벌 맥락 모델링의 필요성을 입증했다.
• 다양한 RL 알고리즘과 환경에서 안정적인 성능을 보이며, 특정 아키텍처에 국한되지 않고 광범위하게 적용 가능함을 시사한다.