[논문 리뷰] Temporally-Extended {\epsilon}-Greedy Exploration

Will Dabney, Georg Ostrovski외 1명|arXiv (Cornell University)|2020. 06. 02.

Evolutionary Algorithms and Applications참고 문헌 72인용 수 13

한 줄 요약

이 논문은 시간적으로 연장된 ϵ-greedy 탐색을 제안하며, 에이전트가 행동을 무작위로 선택하고 이를 무작위 지속 시간 동안 반복함으로써 탐색의 지속성을 향상시킨다. 이 간단한 수정은 어려운 보상 희박한 환경(예: Atari 게임)에서 성능을 크게 향상시키지만, 보상 풍부한 작업에서는 여전히 뛰어난 성능을 유지하며, 복잡한 내재 동기 부여 방법보다 더 어려운 탐색 게임에서 성능을 뛰어나게 하면서도 더 쉬운 작업에서의 성능을 손상시키지 않는다.

ABSTRACT

Recent work on exploration in reinforcement learning (RL) has led to a series of increasingly complex solutions to the problem. This increase in complexity often comes at the expense of generality. Recent empirical studies suggest that, when applied to a broader set of domains, some sophisticated exploration methods are outperformed by simpler counterparts, such as {\\epsilon}-greedy. In this paper we propose an exploration algorithm that retains the simplicity of {\\epsilon}-greedy while reducing dithering. We build on a simple hypothesis: the main limitation of {\\epsilon}-greedy exploration is its lack of temporal persistence, which limits its ability to escape local optima. We propose a temporally extended form of {\\epsilon}-greedy that simply repeats the sampled action for a random duration. It turns out that, for many duration distributions, this suffices to improve exploration on a large set of domains. Interestingly, a class of distributions inspired by ecological models of animal foraging behaviour yields particularly strong performance.

연구 동기 및 목표

• 표준 ϵ-greedy 탐색의 한계인 시간적 지속성 부족 문제를 해결하기 위해, 더 긴 탐색 에피소드를 가능하게 하는 시간적으로 연장된 변형을 도입함으로써 탐색의 지속성을 향상시키는 것.
• ϵ-greedy의 단순성과 일반성을 유지하면서 국소 최적점에서 벗어나기 위한 능력과 드문 고보상 경로를 탐색하는 능력을 향상시키는 것.
• ϵ-greedy에 대한 최소한의 수정—무작위 지속 시간 동안 행동을 반복하는 것—이 다양한 환경에서 더 복잡한 내재 동기 부여 방법보다 성능이 유사하거나 뛰어나게 되는지 평가하는 것.
• 생태학적 사냥 모델(예: Lévy 비행)에서 영감을 얻은 지속 시간 분포가 특히 뛰어난 탐색 성능을 제공하는지 조사하는 것.
• 이 방법이 도메인별 초모수 조정이나 복잡한 함수 근사기 없이도 탐색 효율성을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 표준 ϵ-greedy의 단계별 무작위 행동 선택을 대체하여, 에이전트가 확률 ϵ로 무작위로 행동을 선택하고, 이를 특정 분포에서 추출한 무작위 지속 시간 동안 반복하는 방식으로 변경한다.
• 지속 시간은 각 탐색 에피소드마다 독립적으로 추출되며, 동일한 행동이 반복되는 기간을 결정한다.
• 이 방법은 기존 강화학습 알고리즘에 간단히 확장하여 적용되며, 아키텍처 변경이나 추가 함수 근사기 없이도 가능하다.
• 지속 시간 분포는 핵심 설계 선택 사항이며, 동물의 사냥 행동에서 영감을 얻은 지수 분포 및 꼬리가 두꺼운(Lévy 유사) 분포를 포함한 여러 분포를 평가한다.
• 이 방법은 표본, 선형, 딥 강화학습 에이전트(예: R2D2, Rainbow)에 모두 적용되어 모든 설정에서 일관된 성능 향상을 보였다.
• 알고리즘은 'z'가 행동 반복의 무작위 지속 시간을 나타내므로 ϵz-greedy로 명명된다.

실험 결과

연구 질문

• RQ1 시간적으로 연장된 ϵ-g레디 탐색이 보상 희박한 강화학습 환경에서 성능을 크게 향상시킬 수 있는가?
• RQ2 무작위 행동 반복을 통한 탐색의 시간적 지속성 도입이 국소 최적점에서 벗어나는 데에 에이전트의 능력을 향상시키는가?
• RQ3 다양한 지속 시간 분포(예: 지수 분포, 꼬리가 두꺼운 분포)가 환경 간 탐색 성능 및 일반화에 어떤 영향을 미치는가?
• RQ4 ϵ-greedy에 대한 간단한 수정이 RND, 가짜 카운트, Bootstrap과 같은 더 복잡한 내재 동기 부여 방법보다 하드 탐색 Atari 게임에서 성능을 뛰어나게 할 수 있는가?
• RQ5 제안된 방법이 보상 풍부한 환경에서도 강력한 성능을 유지하면서 보상 희박한 환경에서 성능을 향상시키는가?

주요 결과

• Atari-57 벤치마크에서 ϵz-greedy를 사용한 R2D2 에이전트는 중앙값 인간 갭이 0.077을 기록하여 R2D2+RND(0.151)와 R2D2+Bootstrap(0.096)를 모두 앞서며, 쉬운 게임에서는 R2D2의 성능을 그대로 유지했다.
• ϵz-g레디 방법은 보상 희박한 Atari 게임 하위집합에서 표준 ϵ-greedy 대비 중앙값 인간 갭을 24% 향상시켰다.
• R2D2 에이전트에서 ϵz-gre디는 300억 프레임 후 Atari-57에서 중앙값 점수 17.77을 기록하여 R2D2+RND(11.14)와 R2D2+Bootstrap(16.62)를 모두 초월했다.
• 6개의 분리 실험 게임에서 일관된 성능 향상이 관찰되었으며, 이는 체인 MDP 환경에서 관찰된 결과와 매우 유사하여 일반화 가능성에 대한 검증을 받았다.
• 꼬리가 두꺼운(Lévy 유사) 지속 시간 분포를 사용할 경우 특히 뛰어난 성능을 기록하여 생물학적 영감이 효과적인 탐색 설계에 기여할 수 있음을 시사했다.
• 내재 동기 부여 방법과는 달리, ϵz-greedy는 보상 풍부한 게임에서 심각한 성능 손실를 입지 않아 모든 Atari 환경에서 강력한 성능 유지를 유지했다.