[논문 리뷰] TensorFlow Agents: Efficient Batched Reinforcement Learning in TensorFlow

Danijar Hafner, James Davidson외 1명|arXiv (Cornell University)|2017. 09. 08.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 29

한 줄 요약

이 논문은 텐서플로우에서 효율적인 배치 기반 강화학습을 위한 TensorFlow Agents를 소개한다. 이는 환경 롤아웃을 병렬화하고 신경망 추론을 배치로 처리하여 학습을 가속화한다. BatchPPO는 Proximal Policy Optimization의 최적화된 구현으로, 오직 CPU 자원만을 사용하여 MuJoCo 이동 작업에서 공개된 결과와 동등하거나 그 이상의 성능을 달성한다.

ABSTRACT

We introduce TensorFlow Agents, an efficient infrastructure paradigm for building parallel reinforcement learning algorithms in TensorFlow. We simulate multiple environments in parallel, and group them to perform the neural network computation on a batch rather than individual observations. This allows the TensorFlow execution engine to parallelize computation, without the need for manual synchronization. Environments are stepped in separate Python processes to progress them in parallel without interference of the global interpreter lock. As part of this project, we introduce BatchPPO, an efficient implementation of the proximal policy optimization algorithm. By open sourcing TensorFlow Agents, we hope to provide a flexible starting point for future projects that accelerates future research in the field.

연구 동기 및 목표

• 텐서플로우에서 강화학습 알고리즘을 훈련하기 위한 통합적이고 효율적인 인프라를 제공함으로써 강화학습 연구를 가속화하는 것.
• 강화학습에서 환경 상호작용의 성능 저하 문제를 해결하기 위해 별도의 파이썬 프로세스를 사용해 다수의 환경을 병렬로 시뮬레이션할 수 있도록 하는 것.
• 관측치를 배치로 묶고 개별 전이 단위가 아닌 전체 배치에서 신경망 추론을 수행함으로써 계산 효율성을 향상시키는 것.
• 알고리즘 구현과 환경 상호작용을 분리함으로써 더 빠른 프로토타이핑을 위한 재사용 가능하고 확장 가능한 프레임워크를 제공하는 것.
• 향후 강화학습 연구를 위한 고성능 기준으로서 최적화된 PPO 구현인 BatchPPO를 공개하는 것.

제안 방법

• OpenAI Gym 인터페이스를 확장하여, 별도의 파이썬 프로세스에서 병행으로 여러 환경을 스텝하는 배치 기반 환경을 지원함으로써 GIL 경쟁을 방지한다.
• 배치 기반 환경을 텐서플로우 계산 그래프에 통합하여, 단일 세션 호출로도 엔드 투 엔드로 미분 가능한 훈련을 가능하게 한다.
• 이전 정책으로 수집한 이완정책 데이터를 사용해 정책을 업데이트할 때 분포 이탈을 보정하기 위해 중요도 샘플링을 사용한다.
• 행동 평균 예측을 위한 하나의 스트림과 가치 함수 추정을 위한 다른 하나의 스트림을 가진 이중 스트림 신경망 아키텍처를 사용하며, 활성화 함수로 ReLU를 사용하고 행동 범위를 위해 tanh 출력을 적용한다.
• 관측치와 보상에 대해 스트리밍 통계를 사용해 정규화하고, 훈련 안정성을 높이기 위해 KL 발산 페널티를 포함한다.
• 고정된 학습률을 사용하는 Adam 최적화기와 함께, 각 배치 25개 에피소드당 25회의 기울기 스텝을 수행하여 정책 네트워크와 가치 네트워크를 동시에 업데이트한다.

실험 결과

연구 질문

• RQ1 텐서플로우 내에서 통합적이고 배치 기반의 인프라가 강화학습 알고리즘의 훈련을 크게 가속화할 수 있는가?
• RQ2 별도의 프로세스에서 병렬로 환경을 시뮬레이션할 경우, 순차적 또는 GIL 제약이 있는 실행 방식에 비해 훈련 처리량이 어떻게 향상되는가?
• RQ3 배치 기반 PPO의 구현이 표준 MuJoCo 제어 벤치마크에서 공개된 성능을 충족하거나 초월할 수 있는가?
• RQ4 적절한 배치 처리와 병렬화를 통해 오직 CPU 자원만을 사용해도 효율적이고 확장 가능한 강화학습 훈련이 가능할 수 있는가?
• RQ5 환경 시뮬레이션과 신경망 추론을 하나의 텐서플로우 그래프에 통합하면 훈련 루프가 얼마나 단순화되는가?

주요 결과

• BatchPPO는 원래 PPO 구현을 사용한 HalfCheetah-v1, Walker2d-v1, Humanoid-v1에서 공개된 결과와 동등하거나 그 이상의 성능를 달성한다.
• 이 프레임워크는 오직 6개의 CPU 코어만을 사용하는 단일 머신에서도 효율적인 훈련을 가능하게 하며, 배치 기반 환경 상호작용을 통해 훈련 성능이 효과적으로 스케일링된다.
• 평균 행동을 사용한 평가에서는 안정적이고 높은 수익을 기록했으며, 훈련 중 샘플링을 통해 세 개의 랜덤 시드에서 일관된 학습 진전이 관찰되었다.
• 결과도에서 25번째에서 75번째 백분위수 신뢰구간(그림자 영역)이 낮은 분산을 보이며, 신뢰할 수 있고 재현 가능한 성능임을 나타낸다.
• 환경 스텝을 위한 별도의 프로세스 사용으로 GIL 병목 현상이 제거되어 환경 상호작용에서 진정한 병렬성이 가능해졌다.
• 프레임워크의 설계 덕분에 리셋 및 로깅을 위한 제어 텐서를 통해 훈련 및 평가 단계 간의 원활한 전환이 가능해졌다.