[논문 리뷰] AMBER: Adaptive Multi-Batch Experience Replay for Continuous Action Control

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|2017. 10. 12.

Reinforcement Learning in Robotics참고 문헌 14인용 수 5

한 줄 요약

이 논문은 연속 제어 작업에서 보편적 정책 최적화(PPO)를 위한 적응형 다중배치 경험 재생 방법인 AMBER를 제안한다. 평균 중요도 샘플링(IS) 가중치를 기반으로 과거 정책 배치를 동적으로 선택하고, 사전 계산된 이득과 가치를 사용함으로써 AMBER는 샘플 효율성을 향상시키고 기울기 분산을 줄여 표준 PPO보다 더 빠르고 안정적인 학습을 가능하게 한다. 이는 여러 개의 MuJoCo 및 OpenAI Gym 환경에서 입증되었다.

ABSTRACT

In this paper, a new adaptive multi-batch experience replay scheme is proposed for proximal policy optimization (PPO) for continuous action control. On the contrary to original PPO, the proposed scheme uses the batch samples of past policies as well as the current policy for the update for the next policy, where the number of the used past batches is adaptively determined based on the oldness of the past batches measured by the average importance sampling (IS) weight. The new algorithm constructed by combining PPO with the proposed multi-batch experience replay scheme maintains the advantages of original PPO such as random mini-batch sampling and small bias due to low IS weights by storing the pre-computed advantages and values and adaptively determining the mini-batch size. Numerical results show that the proposed method significantly increases the speed and stability of convergence on various continuous control tasks compared to original PPO.

연구 동기 및 목표

• 표준 PPO가 연속 제어 작업에서 샘플 효율성이 낮고 불안정한 문제를 해결하기 위해 과거 정책 경험을 재사용함으로써.
• IS 기반 정책 그라디언트 방법에서 오래된 경험을 재생할 경우 중요도 샘플링(IS) 가중치의 높은 분산 문제를 해결하기 위해.
• 경험 재생을 효과적으로 가능하게 하면서도 PPO의 낮은 편향과 무작위 미니배치 샘플링의 장점을 유지하기 위해.
• IS 가중치 감쇠를 기반으로 관련성이 있는 과거 배치만 선택하는 적응형 메커니즘을 개발하여 오래되거나 분산이 큰 샘플을 피하기 위해.
• 재생 메모리 크기나 클리핑 초모수를 수동 조정할 필요 없이 수렴 속도와 안정성을 향상시키기 위해.

제안 방법

• AMBER는 과거 정책 업데이트에서 사전 계산된 이득과 가치를 저장하는 재생 버퍼를 사용하여 재계산 없이도 효율적인 재생을 가능하게 한다.
• 각 업데이트에서 평균 IS 가중치를 기반으로 과거 정책 배치의 부분집합을 적응적으로 선택하며, 이는 배치의 '오래됨' 정도를 측정한다.
• 배치 제거 요소를 사용하여 활성 과거 배치의 수를 동적으로 조정하며, 이 요소는 시간이 지남에 따라 선형 감쇠되어 오래된 샘플을 제거한다.
• 현재 및 활성 과거 정책 경험의 조합에서 무작위로 미니배치를 추출함으로써 샘플 상관관계를 줄이고 기울기 안정성을 향상시킨다.
• PPO에 통합하기 위해 IS 가중치 비율에 클리핑을 적용함으로써 낮은 편향과 안정적인 최적화를 유지한다.
• 활성 배치 수가 증가함에 따라 미니배치 크기를 조정함으로써 반복당 고정된 수의 업데이트를 유지한다.

실험 결과

연구 질문

• RQ1 IS 기반 정책 그라디언트 방법(예: PPO)에 경험 재생을 효과적으로 적용할 수 있는가? 이때 큰 IS 가중치로 인한 높은 분산이 발생하지 않는가?
• RQ2 과거 정책 배치를 어떻게 적응적으로 선택하여 샘플 효율성을 극대화하면서 편향과 분산을 최소화할 수 있는가?
• RQ3 다중배치 재생 버퍼에서 무작위로 미니배치를 추출하는 것이 에피소드 기반 추출보다 샘플 상관관계를 줄이고 학습 안정성을 향상시키는가?
• RQ4 오래된 배치를 제거하는 적응형 메커니즘이 재생 메모리 크기 조정을 수동으로 필요로 하지 않고 성능 향상을 이끌 수 있는가?
• RQ5 표준 PPO 및 기타 PG 방법(예: TRPO, ACER)과 비교했을 때, 제안된 방법은 연속 제어 작업에서 수렴 속도와 최종 성능 측면에서 어떻게 성능을 내는가?

주요 결과

• PPO-AMBER는 $\epsilon_b = 0.25$일 때 자동으로 최적의 활성 배치 수(1에서 8 사이)를 선택하여 수동으로 재생 메모리 크기를 조정할 필요가 없어진다.
• PPO-AMBER는 HalfCheetah, Pendulum, Swimmer, Humanoid를 포함한 모든 테스트 환경에서 표준 PPO보다 훨씬 더 빠르고 안정적인 수렴을 달성한다.
• Swimmer와 같이 PPO가 높은 분산으로 인해 불안정해지는 작업에서는 PPO와 PPO-AMBER 간의 성능 격차가 가장 두드러지며, PPO-AMBER는 더 많은 샘플을 평균화함으로써 강건성을 향상시킨다.
• 다중배치 재생 버퍼에서 무작위로 미니배치를 추출하는 것이 에피소드 기반 추출보다 성능이 뛰어나며, 이는 샘플 상관관계 감소가 학습을 향상시킨다는 것을 확인한다.
• PPO-AMBER는 최종 성능과 학습 안정성 측면에서 TRPO와 ACER를 모두 능가하며, 이는 연속 제어 작업에서의 효과성을 입증한다.
• 이 방법은 저차원 행동 작업에서 가장 효과적이며, Humanoid와 같이 고차원 작업에서는 IS 가중치가 증가함에 따라 성능 향상이 감소한다. 이는 더 작은 학습률이나 작업에 특화된 적응이 필요함을 시사한다.