[논문 리뷰] Assessing Generalization in Deep Reinforcement Learning

Charles Packer, Katelyn Gao외 4명|arXiv (Cornell University)|2018. 10. 29.

Reinforcement Learning in Robotics참고 문헌 42인용 수 114

한 줄 요약

이 논문은 딥 RL에서 일반화를 연구하기 위한 재현 가능한 벤치마크와 프로토콜을 제공하고, 다양한 제어 태스크에서 보간과 외삽에 걸쳐 일반적 방법인 일반적인 A2C/PPO와 일반화 중심 방법(EPOpt, RL2)을 비교합니다.

ABSTRACT

Deep reinforcement learning (RL) has achieved breakthrough results on many tasks, but agents often fail to generalize beyond the environment they were trained in. As a result, deep RL algorithms that promote generalization are receiving increasing attention. However, works in this area use a wide variety of tasks and experimental setups for evaluation. The literature lacks a controlled assessment of the merits of different generalization schemes. Our aim is to catalyze community-wide progress on generalization in deep RL. To this end, we present a benchmark and experimental protocol, and conduct a systematic empirical study. Our framework contains a diverse set of environments, our methodology covers both in-distribution and out-of-distribution generalization, and our evaluation includes deep RL algorithms that specifically tackle generalization. Our key finding is that `vanilla' deep RL algorithms generalize better than specialized schemes that were proposed specifically to tackle generalization.

연구 동기 및 목표

• 딥 RL에서 제어 가능한 재현 가능한 일반화 벤치마크의 필요성을 제시한다.
• 매개변수 변경이 있는 다양한 제어 태스크 환경 집합을 소개한다.
• 내부 분포와 외부 분포 설정에서 일반적 알고리즘과 일반화 알고리즘을 평가한다.
• 해석 가능한 일반화 지표(기본, 보간, 외삽)와 공정한 비교를 위한 베이스라인을 제공한다.

제안 방법

• 고정된 MDP 형식과 제어 간 보간 및 외삽을 연구하기 위한 환경 분포를 정의한다.
• 여섯 개의 알고리즘(A2C, PPO, EPOpt-A2C, EPOpt-PPO, RL2-A2C, RL2-PPO)을 제어된 매개변수 변화가 있는 여섯 개 환경에서 벤치마킹한다.
• 표현의 영향력을 연구하기 위해 두 네트워크 아키텍처(FF와 RC)를 사용한다.
• 표준화된 에피소드 수를 바탕으로 다섯 가지의 훈련-테스트 체계(D/R/E) 조합에서 훈련/테스트를 수행한다.
• 세 가지 일반화 지표를 계산한다: 기본(Default, DD), 보간(Interpolation, RR), 외삽(Extrapolation, GM of DR/DE/RE).
• 하이퍼파라미터 탐색과 다중 시드를 포함하는 재현 가능한 실험 프로토콜을 제시한다.

실험 결과

연구 질문

• RQ1 일반적인 딥 RL 에이전트가 보이지 않는 환경 변형에 대해 보간 수준에서 얼마나 잘 일반화하며, 더 극단적인 변형인 외삽에 얼마나 잘 일반화하는가?
• RQ2 전용 일반화 스킴(EPOpt, RL2)이 이러한 벤치마크에서 일반적인 알고리즘보다 성능이 우수한가?
• RQ3 아키텍처 선택(FF 대 RC)이 태스크 전반의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 강건성/적응 기반 일반화가 어떤 조건에서 이점을 주거나 학습에 실패하는가?

주요 결과

Algorithm	Architecture	Default	Interpolation	Extrapolation
A2C	FF	78.14 ± 6.07	76.63 ± 1.48	63.72 ± 2.08
A2C	RC	81.25 ± 3.48	72.22 ± 2.95	60.76 ± 2.80
PPO	FF	78.22 ± 1.53	70.57 ± 6.67	48.37 ± 3.21
PPO	RC	26.51 ± 9.71	41.03 ± 6.59	21.59 ± 10.08
EPOpt-A2C	FF	2.46 ± 2.86	7.68 ± 2.35	0.61 ± 2.35
EPOpt-A2C	RC	9.91 ± 1.12	20.89 ± 1.39	5.42 ± 0.24
EPOpt-PPO	FF	85.40 ± 8.05	85.15 ± 6.59	59.26 ± 5.81
EPOpt-PPO	RC	5.51 ± 5.74	15.40 ± 3.86	9.99 ± 7.39
RL 2 -A2C	RC	45.79 ± 6.67	46.32 ± 4.71	33.54 ± 4.64
RL 2 -PPO	RC	22.22 ± 4.46	29.93 ± 8.97	21.36 ± 4.41

• 일반적인 A2C 및 PPO가 제안된 프로토콜 하에서 종종 EPOpt 및 RL2 대비 일반화 성능이 더 우수하다.
• 외삽은 모든 태스크와 알고리즘에서 보간보다 지속적으로 더 어렵다.
• 환경 분포에 대한 학습은 보간 성능을 향상시키지만 외삽은 여전히 도전적이다.
• EPOpt는 일부 연속 작용 태스크(예: Hopper, Pendulum, HalfCheetah)에서 PPO의 일반화를 개선하지만 모든 환경이나 A2C와의 비교에서 보편적이지 않다.
• RL2 변형은 학습이 어려웠고 동일 리소스 하에서 일반적으로 기본선에 비해 성능이 떨어졌다.
• RC(순환) 아키텍처는 PPO의 성능에 영향을 주고 고정 환경 설정에서 학습을 저해할 수 있어 아키텍처와 알고리즘 간 상호작용을 강조한다.