[논문 리뷰] Behaviour Suite for Reinforcement Learning

Ian Osband, Yotam Doron외 12명|arXiv (Cornell University)|2019. 08. 09.

Reinforcement Learning in Robotics참고 문헌 48인용 수 36

한 줄 요약

bsuite는 핵심 RL 능력을 이해하기 위해 에이전트의 행동을 평가·분석하는 대상 중심의 확장 가능한 RL 실험 모음이자 오픈 소스 도구 키트입니다. 이는 코드베이스 전반에 걸친 원칙적 진단과 재현 가능한 분석을 제공합니다.

ABSTRACT

This paper introduces the Behaviour Suite for Reinforcement Learning, or bsuite for short. bsuite is a collection of carefully-designed experiments that investigate core capabilities of reinforcement learning (RL) agents with two objectives. First, to collect clear, informative and scalable problems that capture key issues in the design of general and efficient learning algorithms. Second, to study agent behaviour through their performance on these shared benchmarks. To complement this effort, we open source github.com/deepmind/bsuite, which automates evaluation and analysis of any agent on bsuite. This library facilitates reproducible and accessible research on the core issues in RL, and ultimately the design of superior learning algorithms. Our code is Python, and easy to use within existing projects. We include examples with OpenAI Baselines, Dopamine as well as new reference implementations. Going forward, we hope to incorporate more excellent experiments from the research community, and commit to a periodic review of bsuite from a committee of prominent researchers.

연구 동기 및 목표

• 핵심 RL 능력을 진단하는 명확하고 정보가 풍부하며 확장 가능한 실험을 제공합니다.
• RL 에이전트와 코드베이스 간 재현 가능한 평가 및 비교를 가능하게 합니다.
• 탐험, 기억, 보상 배분과 같은 기본 RL 문제를 식별하고 연구합니다.

제안 방법

• 고정된 환경, 인터랙션 규칙, 분석 파이프라인을 갖춘 진단 RL 실험 모음을 정의합니다.
• 각 작업에서 [0,1] 척도로 에이전트 성능을 평가하여 빠른 비교를 가능하게 합니다.
• 재현 가능한 연구를 촉진하기 위해 오픈 소스 구현, 참조 기준선, 자동 분석 노트북을 제공합니다.
• bsuite 실험이 대상이 명확하고, 간단하며, 도전적이고, 확장 가능하며 신속하게 설계되는 방식을 설명합니다.

실험 결과

연구 질문

• RQ1 타깃 실험으로 어떤 핵심 RL 능력을 분리하고 측정할 수 있습니까?
• RQ2 메모리와 탐험을 탐지하는 진단 과제에서 서로 다른 RL 알고리즘은 어떻게 수행합니까?
• RQ3 공통 벤치마킹 라이브러리가 서로 다른 RL 코드베이스 간 재현 가능한 평가를 가능하게 합니까?
• RQ4 문제 크기가 커질 때 진단 과제에서 알고리즘의 확장성은 어떤 특성을 보합니까?

주요 결과

• 메모리 길이 실험은 다단계 기억 과제에서 순환 정책이 피드포워드보다 성능이 우수함을 보여주며 명확한 확장성을 보입니다.
• DQN 및 Bootstrapped DQN은 한 단계 이상 기억 길이에 어려움을 겪는 반면, A2C는 무작위성이 증가하기 전에 임계값까지 강한 성능을 보입니다.
• Deep Sea 탐험은 깊은 탐험의 필요성을 강조하며, Bootstrapped DQN이 더 큰 문제 크기에 대해 우수한 확장성을 제공합니다.
• .bsuite은 레이더 차트와 여러 실험에 걸친 통합 점수 매커니즘을 통해 빠르고 해석 가능한 요약을 제공합니다.
• 오픈 소스 도구는 기존 RL 코드베이스와의 손쉬운 통합을 가능하게 하고 재현 가능한 분석을 촉진합니다.