[논문 리뷰] Prioritized Level Replay

Minqi Jiang, Edward Grefenstette외 1명|arXiv (Cornell University)|2020. 10. 08.

Reinforcement Learning in Robotics참고 문헌 33인용 수 4

한 줄 요약

Prioritized Level Replay (PLR)는 미래의 학습 잠재력에 기반해 동적으로 학습 레벨을 선택함으로써 프로시저처럴 콘텐츠 생성(PCG) 환경에서 샘플 효율성과 일반화 능력을 향상시킨다. 이는 TD-오차를 학습 잠재력의 대리 지표로 사용한다. PLR는 ProcGen 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 SOTA와 동일한 테스트 리턴을 기록하고, 기존 방법과 조합했을 때 일반화 능력을 76% 이상 향상시킨다.

ABSTRACT

Environments with procedurally generated content serve as important benchmarks for testing systematic generalization in deep reinforcement learning. In this setting, each level is an algorithmically created environment instance with a unique configuration of its factors of variation. Training on a prespecified subset of levels allows for testing generalization to unseen levels. What can be learned from a level depends on the current policy, yet prior work defaults to uniform sampling of training levels independently of the policy. We introduce Prioritized Level Replay (PLR), a general framework for selectively sampling the next training level by prioritizing those with higher estimated learning potential when revisited in the future. We show TD-errors effectively estimate a level's future learning potential and, when used to guide the sampling procedure, induce an emergent curriculum of increasingly difficult levels. By adapting the sampling of training levels, PLR significantly improves sample efficiency and generalization on Procgen Benchmark--matching the previous state-of-the-art in test return--and readily combines with other methods. Combined with the previous leading method, PLR raises the state-of-the-art to over 76% improvement in test return relative to standard RL baselines.

연구 동기 및 목표

• 프로시저처럴 환경에서 딥 강화학습의 낮은 일반화 능력 문제를 해결하기 위해.
• 미래의 학습 잠재력에 기반해 학습 레벨을 선택적으로 샘플링하여 샘플 효율성을 향상시키기 위해.
• 사전에 정의된 난이도 순위에 의존하지 않고 학습 중에 레벨 샘플링을 동적으로 조정할 수 있는 방법을 개발하기 위해.
• 가장 정보적인 학습 신호를 제공하는 레벨에 집중함으로써, 예측할 수 없는 레벨에 대한 일반화 능력을 향상시키기 위해.

제안 방법

• PLR는 과거 트레이잭터리에서 유도된 시간 차분(TD) 오차를 사용해 각 레벨의 미래 학습 잠재력 추정값을 산출한다.
• 학습 잠재력과 경험의 최신성 간 균형을 맞추기 위해 레벨 점수 S와 오래됨 타임스탬프 C를 유지한다.
• 다음 학습 레벨은 추정된 학습 잠재력(S)과 오래됨(C)을 조합한 분포에서 샘플링되며, 이는 무게 조정 파라미터 ρ를 통해 조정된다.
• 통합된 샘플링 절차를 통해 기존 훈련 세트에서의 미리보지 않은 레벨 샘플링과 이전에 본 레벨의 재생 샘플링을 모두 지원한다.
• 모든 오프-폴리시 RL 알고리즘과 호환되며, 데이터 증강 또는 기타 일반화 기법과도 조합 가능하다.
• 각 에피소드 후에 TD-오차와 트레이잭터리 길이를 포함한 점수 함수를 사용해 레벨 점수를 업데이트한다.

실험 결과

연구 질문

• RQ1 미래의 학습 잠재력에 기반해 동적으로 학습 레벨을 우선순위로 지정하는 것이 프로시저처럴 환경에서 일반화 능력을 향상시키는가?
• RQ2 미래의 학습 잠재력의 대리 지표로 TD-오차를 사용할 경우 샘플 효율성과 테스트 성능에 어떤 영향을 미치는가?
• RQ3 사전 난이도 레이블 없이도 학습 잠재력에 기반한 레벨 샘플링에 의해 자연스럽게 커리큘럼이 유도되는가?
• RQ4 기존 최신 기술 수준 방법과 조합했을 때 PLR가 일반화 능력을 얼마나 향상시키는가?
• RQ5 학습 잠재력과 오래됨 간의 균형(ρ를 통해 제어)이 다양한 PCG 환경에서 성능에 상당한 영향을 미치는가?

주요 결과

• PLR는 ProcGen 벤치마크에서 이전 SOTA와 동일한 테스트 리턴을 달성하여 최신 기술 수준의 성능을 확보했다.
• 이전 최고의 방법과 조합했을 때, 표준 RL 기반 베이스라인 대비 테스트 리턴을 76% 이상 향상시켰다.
• 순위 또는 비례 기반 우선순위 전략에 따라 16개 게임 중 10~11개에서 샘플 효율성과 일반화 능력이 크게 향상되었다.
• 학습이 진행됨에 따라 학습 잠재력 추정에 기반해 점점 더 어려운 레벨이 우선순위로 지정되는 잠재적 커리큘럼이 유도된다.
• 16개 게임 중 10~11개에서 성능 향상이 통계적으로 유의미하다(p < 0.05)며, 다양한 환경에서 일관된 향상이 확인되었다.
• 절단 실험을 통해 레벨 점수와 오래됨의 조합이 성능 향상에 필수적임을 입증했다.