[논문 리뷰] Benchmarking Bonus-Based Exploration Methods on the Arcade Learning Environment

Adrien Ali Taïga, William Fedus외 3명|arXiv (Cornell University)|2019. 08. 06.

Reinforcement Learning in Robotics참고 문헌 26인용 수 21

한 줄 요약

이 논문은 고정된 강화학습 에이전트(Rainbow)와 2억 프레임의 훈련 프레임을 사용하여 아케이드 학습 환경에서 보너스 기반 탐색 방법을 벤치마킹한다. 몬테주마의 복수나 기타 어려운 탐색 게임에서는 최근의 탐색 보너스가 성능 향상에 거의 기여하지 않으며, 종종 단순한 ε-그리디 탐색보다 열등하고, 더 쉬운 게임에서는 성능을 떨어뜨리는 경우조차 있다. 이는 현재의 방법들이 강건성과 일반화 능력에 빈도를 보임을 시사한다.

ABSTRACT

This paper provides an empirical evaluation of recently developed exploration algorithms within the Arcade Learning Environment (ALE). We study the use of different reward bonuses that incentives exploration in reinforcement learning. We do so by fixing the learning algorithm used and focusing only on the impact of the different exploration bonuses in the agent's performance. We use Rainbow, the state-of-the-art algorithm for value-based agents, and focus on some of the bonuses proposed in the last few years. We consider the impact these algorithms have on performance within the popular game Montezuma's Revenge which has gathered a lot of interest from the exploration community, across the the set of seven games identified by Bellemare et al. (2016) as challenging for exploration, and easier games where exploration is not an issue. We find that, in our setting, recently developed bonuses do not provide significantly improved performance on Montezuma's Revenge or hard exploration games. We also find that existing bonus-based methods may negatively impact performance on games in which exploration is not an issue and may even perform worse than $ε$-greedy exploration.

연구 동기 및 목표

• 표준화된 조건에서 최근의 보너스 기반 탐색 방법을 공정하게 평가하기 위해.
• 학습 알고리즘(Rainbow)과 훈련 기간(2억 프레임)을 고정함으로써 탐색 보너스의 영향을 분리하기 위해.
• 몬테주마의 복수에서의 성능이 다른 어려운 탐색 게임과 더 쉬운 아케이드 게임으로 일반화되는지 평가하기 위해.
• 어려운 환경에서 높은 성능을 내기 위해 복잡한 탐색 보너스가 필수적이라는 가정을 도전하기 위해.

제안 방법

• 연구는 기본 에이전트로 Rainbow를 사용하고, 다양한 내재 보너스 방법—가짜 카운트(CTS 및 PixelCNN를 포함), ICM, RND—를 동일한 아케이드 2600 게임 세트에 적용한다.
• 각 방법은 내재 보상 신호 $ i_t $ 를 계산하며, 이는 환경 보상 $ e_t $ 와 $ r_t = e_t + \beta \cdot i_t $ 를 통해 조합된다. 여기서 $ \beta $ 는 스케일링 초모델이다.
• 가짜 카운트는 밀도 모델(CTS 또는 PixelCNN)을 사용하며, 예측 증가 $ \text{PG}_t(s) $ 가 상태의 신선도를 추정한다.
• ICM는 학습된 특징 임베딩을 사용하고, 역모델과 정방향 모델을 훈련시켜 예측 오차를 내재 보상으로 사용한다.
• RND는 무작위 신경망을 사용해 현재 상태의 표현을 예측하며, 내재 보상은 예측 오차에 기반한다.
• 모든 방법은 아케이드 2600 게임 26종에 대해 평가되며, 벨레마르 등(2016)의 어려운 탐색 세트와 더 쉬운 게임을 포함하고, 결과는 5개의 랜덤 시드 평균으로 산출된다.

실험 결과

연구 질문

• RQ1 Rainbow와 2억 프레임 훈련 조건을 동일하게 유지할 때, 보너스 기반 탐색 방법은 몬테주마의 복수에서 어떻게 성능을 내는가?
• RQ2 몬테주마의 복수에서 잘 성과를 내는 방법들이 벨레마르 등(2016)의 벤치마크에 포함된 다른 어려운 탐색 게임으로 일반화되는가?
• RQ3 보너스 기반 탐색 방법은 탐색이 주요 과제가 되지 않는 더 쉬운 아케이드 게임에서 성능 향상에 기여하는가?
• RQ4 최근의 탐색 보너스에서 얻는 성능 향상은 강건한가, 아니면 단순한 방법인 ε-그리디가 여전히 경쟁력이 있는가?

주요 결과

• 몬테주마의 복수에서, 훈련 기간과 에이전트 아키텍처를 고정했을 때, 최근의 보너스 기반 방법은 이전 방법이나 ε-그리디 탐색보다 성능 향상이 거의 관찰되지 않았다.
• 벨레마르 등(2016)의 6개의 어려운 탐색 게임에서, 보너스 기반 방법은 ε-그리디 탐색과 비슷한 성능을 보였고, 인간 수준 성능보다는 크게 뒤져 있었다.
• 아스테릭스와 시쿼트와 같은 더 쉬운 아케이드 게임에서는 가짜 카운트와 기타 보너스 방법이 항상 ε-그리디보다 열등했으며, 일부 방법은 성능을 떨어뜨리는 결과를 보였다.
• 내재 보너스에 의존하지 않는 NoisyNets는 모든 게임에서 ε-그리디 및 보너스 기반 방법과 비슷하거나 뛰어난 성능을 보였으며, 이는 더 강건할 수 있음을 시사한다.
• 몬테주마의 복수에서 탐색 보너스의 성능은 다른 어려운 탐색 게임에서의 성능을 예측하지 못했으며, 이는 환경 간 일반화 능력이 열악함을 시사한다.
• 연구는 현재의 보너스 기반 탐색 방법이 신뢰할 수 없이 유익하지 않으며, 쉬운 환경에서는 해로울 수 있음을 결론 내리며, 더 강건한 탐색 알고리즘의 필요성을 제기한다.