[논문 리뷰] On Bonus-Based Exploration Methods in the Arcade Learning Environment

Adrien Ali Taïga, William Fedus외 3명|arXiv (Cornell University)|2021. 09. 22.

Artificial Intelligence in Games참고 문헌 26인용 수 8

한 줄 요약

이 논문은 아케이드 게임 아케이드 2600에서 RND, ICM, CTS-counts, PixelCNN-counts와 같은 보너스 기반 탐색 방법들을 통합된 프레임워크를 사용해 Rainbow를 기반으로 평가한다. 이는 몽테주마의 복수와 같은 어려운 탐색 게임에서 성능 향상을 이끌어내지만, 더 쉬운 게임에서는 단순한 ϵ-greedy 탐색 방식에 비해 뛰어나지 못하며, 몽테주마의 복수에서의 성과는 탐색 자체의 향상보다는 아키텍처적 발전 때문일 가능성이 크다.

ABSTRACT

Research on exploration in reinforcement learning, as applied to Atari 2600 game-playing, has emphasized tackling difficult exploration problems such as Montezuma's Revenge (Bellemare et al., 2016). Recently, bonus-based exploration methods, which explore by augmenting the environment reward, have reached above-human average performance on such domains. In this paper we reassess popular bonus-based exploration methods within a common evaluation framework. We combine Rainbow (Hessel et al., 2018) with different exploration bonuses and evaluate its performance on Montezuma's Revenge, Bellemare et al.'s set of hard of exploration games with sparse rewards, and the whole Atari 2600 suite. We find that while exploration bonuses lead to higher score on Montezuma's Revenge they do not provide meaningful gains over the simpler $\epsilon$-greedy scheme. In fact, we find that methods that perform best on that game often underperform $\epsilon$-greedy on easy exploration Atari 2600 games. We find that our conclusions remain valid even when hyperparameters are tuned for these easy-exploration games. Finally, we find that none of the methods surveyed benefit from additional training samples (1 billion frames, versus Rainbow's 200 million) on Bellemare et al.'s hard exploration games. Our results suggest that recent gains in Montezuma's Revenge may be better attributed to architecture change, rather than better exploration schemes; and that the real pace of progress in exploration research for Atari 2600 games may have been obfuscated by good results on a single domain.

연구 동기 및 목표

• 통합된 평가 프레임워크 내에서 인기 있는 보너스 기반 탐색 방법들을 체계적으로 비교하는 것.
• 최근 탐색 보너스가 다양한 아케이드 2600 환경에서 일관된 성능 향상을 제공하는지 평가하는 것.
• 몽테주마의 복수에서 하이퍼파라미터 튜닝이 더 쉬운 게임에서의 성능을 열 劣화시키는지 조사하는 것.
• 희박 보상 환경에서 탐색 성능에 대해 훈련 데이터를 10억 프레임까지 증가시켰을 때의 영향을 평가하는 것.
• 관찰된 탐색 연구의 진전이 진정으로 더 나은 탐색 덕분이 아니라, 아키텍처적 변화와 단일 게임 평가 편향에 의해 혼동될 수 있는지 규명하는 것.

제안 방법

• 저자는 기본 에이전트로 Rainbow 에이전트를 사용하고, RND(랜덤 네트워크 분해), ICM(내재적 호기심 모듈), CTS-counts(신경망을 사용한 카운트 기반 탐색), PixelCNN-counts를 적용한다.
• 모든 방법은 동일한 훈련 설정을 사용하여 평가한다: 전체 아케이드 2600 스위트에서 2억 프레임, 어려운 탐색 게임에서는 10억 프레임까지 확장한다.
• 평가 프레임워크에는 벨레마르 등이 제시한 7개의 어려운 탐색 게임(예: 몽테주마의 복수, 프라이빗 아이)과 전체 60개 게임 아케이드 스위트가 포함된다.
• 하이퍼파라미터는 몽테주마의 복수와 원래 ALE 훈련 세트에서 모두 튜닝하여 일반화 능력을 평가한다.
• 모든 게임의 인간 정규화 점수를 기준으로 성능을 측정하며, ϵ-g리드와 노이지 네트워크를 기준선으로 사용한다.
• 일관된 딥 강화학습 훈련 파이프라인을 사용하여 탐색 보너스의 영향을 다른 아키텍처나 훈련 차이에서 분리한다.

실험 결과

연구 질문

• RQ1 보너스 기반 탐색 방법이 전체 아케이드 2600 스위트에서 ϵ-greedy를 일관되게 능가하는가, 아니면 더 쉬운 게임에서 성능이 열 劣화되는가?
• RQ2 몽테주마의 복수에서 보고된 보너스 기반 방법의 성공은 탐색 방법 자체의 성능 때문인가, 아니면 에이전트의 아키텍처적 향상 때문인가?
• RQ3 몽테주마의 복수에서 하이퍼파라미터 튜닝이 과다 탐색을 유도하고 더 쉬운 아케이드 게임에서 성능을 떨어뜨리는가?
• RQ4 2억 프레임에서 10억 프레임으로 훈련 데이터를 늘였을 때 어려운 탐색 게임에서 성능 향상이 유의미하게 발생하는가?
• RQ5 몽테주마의 복수에서의 성능 향상은 진정으로 더 나은 탐색 덕분이 아니라 평가 편향과 비표준 훈련 제도의 산물인가?

주요 결과

• 몽테주마의 복수에서 모든 보너스 기반 방법이 ϵ-greedy를 능가하며, RND는 5199.2점의 성과를 기록하지만, 이 성과는 더 쉬운 게임에서는 일반화되지 않는다.
• 전체 아케이드 2600 스위트에서 모든 보너스 기반 방법은 ϵ-greedy와 비슷하거나 열 劣화된 성능을 보이며, 유일하게 노이지 네트워크만 전체 스위트에서 모든 다른 방법보다 뛰어나다.
• 몽테주마의 복수에서의 성능은 전체 아케이드 스위트에서의 성능와 반비례한다: 몽테주마의 복수에서 뛰어난 성능을 내는 방법일수록 더 쉬운 게임에서는 성능이 열 劣화된다.
• 몽테주마의 복수에서 하이퍼파라미터 튜닝은 과다 탐색 행동을 유도하며, 더 쉬운 게임에서 성능을 떨어뜨리며, 전체 ALE 세트에서 튜닝해도 ϵ-greedy를 초월하는 성능 향상은 없다.
• 2억 프레임에서 10억 프레임으로 훈련 데이터를 늘였을 때, 벨레마르 등이 제시한 어려운 탐색 게임에서 성능 향상이 없었으며, 이는 이러한 방법들이 샘플 효율성을 향상시키지 못함을 시사한다.
• 이 연구는 최근 몽테주마의 복수에서의 성능 향상이 탐색 메커니즘의 향상 때문이 아니라 아키텍처적 변화(예: 더 깊은 네트워크) 때문일 가능성이 크다고 결론 내린다.