[논문 리뷰] Smooth Exploration for Robotic Reinforcement Learning

Antonin Raffin, Jens Kober외 1명|elib (German Aerospace Center)|2020. 05. 12.

Reinforcement Learning in Robotics참고 문헌 53인용 수 9

한 줄 요약

이 논문은 깊이 강화 학습을 위한 부드러운 탐색 방법인 일반화된 상태에 의존하는 탐색(gSDE)을 제안한다. gSDE는 정기적인 간격으로 샘플링되는 상태에 의존하는 노이즈로 독립적인 가우시안 노이즈를 대체하며, 탐색 주기와 제어 주기를 분리함으로써 실제 로봇에서 안정적이고 고성능의 정책 학습을 가능하게 한다. 이는 시뮬레이션에서 실제로의 전이 또는 추가 필터링 없이도 달성되며, 테더드라이브 로봇, 4족 보행 로봇, RC 자동차에서 성공적으로 검증되었다. 성능는 비정형 탐색과 유사하지만, 끈적거리는 움직임을 제거함으로써 우수한 성능을 발휘한다.

ABSTRACT

Reinforcement learning (RL) enables robots to learn skills from interactions with the real world. In practice, the unstructured step-based exploration used in Deep RL -- often very successful in simulation -- leads to jerky motion patterns on real robots. Consequences of the resulting shaky behavior are poor exploration, or even damage to the robot. We address these issues by adapting state-dependent exploration (SDE) to current Deep RL algorithms. To enable this adaptation, we propose two extensions to the original SDE, using more general features and re-sampling the noise periodically, which leads to a new exploration method generalized state-dependent exploration (gSDE). We evaluate gSDE both in simulation, on PyBullet continuous control tasks, and directly on three different real robots: a tendon-driven elastic robot, a quadruped and an RC car. The noise sampling interval of gSDE permits to have a compromise between performance and smoothness, which allows training directly on the real robots without loss of performance. The code is available at https://github.com/DLR-RM/stable-baselines3.

연구 동기 및 목표

• 실제 로봇 강화학습에서 비정형 가우시안 노이즈로 인한 불안정성과 손상 위험을 해결하기 위해.
• 현대적인 딥 강화학습 알고리즘에 상태에 의존하는 탐색(SDE)을 적응시켜 움직임의 부드러움을 향상시키고 분산을 줄이기 위해.
• 시뮬레이션에서 실제로의 전이 또는 외부 필터링 없이도 실제 로봇에서 직접 훈련을 가능하게 하기 위해.
• 다양한 노이즈 샘플링 간격을 사용하여 탐색의 부드러움과 학습 성능 사이의 트레이드오프를 평가하기 위해.
• 테더드라이브 로봇, 4족 보행 로봇, RC 자동차를 포함한 다양한 실제 로봇 플랫폼에서 방법의 유효성을 검증하기 위해.

제안 방법

• gSDE는 동일한 상태에 대해 에피소드 간 일관된 동작을 생성하는 상태에 의존하는 노이즈 함수로, 독립적인 i.i.d. 가우시안 노이즈를 대체한다.
• 이 방법은 노이즈 벡터를 설정 가능한 간격(예: 8단계마다)으로 주기적으로 재샘플링함으로써 탐색의 부드러움과 제어 주기 사이를 분리한다.
• 신경망 헤드를 통해 현재 상태에 기반해 탐색 노이즈를 출력하는 일반화된 노이즈 스케줄을 학습하며, 초기 log-std 초모수는 각 알고리즘에 맞게 조정된다.
• SAC, TD3, A2C, PPO와 같은 인기 있는 딥 강화학습 알고리즘에 통합되며, 알고리즘 및 환경에 맞게 초모수를 조정한다.
• 탐색 노이즈는 정책 출력에 직접 적용되어 기반 강화학습 알고리즘의 구조를 유지하면서 궤적의 부드러움을 향상시킨다.
• 이 방법은 외부 필터나 저수준 제어기 없이도 부드러움을 탐색 메커니즘 내부에 직접 통합함으로써, 외부 필터링을 피한다.

실험 결과

연구 질문

• RQ1 현대적인 딥 강화학습 알고리즘에 상태에 의존하는 탐색을 효과적으로 적응시켜 실제 로봇에서의 끈적거리는 움직임을 줄일 수 있는가?
• RQ2 gSDE에서 노이즈 재샘플링 주기의 빈도는 탐색의 부드러움과 학습 성능 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 gSDE는 시뮬레이션에서 실제로의 전이 또는 추가 필터링 없이도 실제 로봇에서 직접 안정적인 정책 훈련을 가능하게 하는가?
• RQ4 gSDE는 비정형 가우시안 탐색과 비교해 유사한 학습 성능를 유지하면서도 움직임의 부드러움을 크게 향상시키는가?
• RQ5 gSDE는 동역학과 구동 제약 조건이 다양한 실제 로봇 플랫폼에서 어떻게 성능를 발휘하는가?

주요 결과

• gSDE는 시뮬레이션에서 실제로의 전이 또는 외부 필터링 없이도 실제 로봇에서 딥 강화학습 정책을 성공적으로 훈련시켰다. 이는 테더드라이브 로봇, 4족 보행 로봇, RC 자동차에서 성공적으로 검증되었다.
• 최종 수익 측면에서 비정형 탐색과 유사한 성능를 달성하면서도, 기준 방법에서 관찰된 끈적거리는 움직임 패tern을 완전히 제거하였다.
• PyBullet 환경에서 노이즈 샘플링 간격이 8단계일 경우 부드러움과 성능 사이에 균형이 잘 맞아, 더 높은 간격은 분산을 줄이고 안정성을 향상시켰다.
• 실제 테더드라이브 로봇 David에서는 비정형 탐색이 불안정성과 모터 마모로 인해 실패했지만, gSDE는 안정적이고 성공적인 훈련을 가능케 하였다.
• gSDE는 시간이 지남에 따라 동작 궤적의 분산을 감소시켰으며, 이는 동일한 상태에 대해 동일한 상태에 의존하는 노이즈가 에피소드 간 일관된 변형을 생성하기 때문이다.
• SAC, TD3, A2C, PPO에 성공적으로 통합되어 최신 딥 강화학습 알고리즘과 넓은 호환성을 보였다.