[논문 리뷰] Recurrent Network-based Deterministic Policy Gradient for Solving Bipedal Walking Challenge on Rugged Terrains

Doo Re Song, Chuanyu Yang외 2명|arXiv (Cornell University)|2017. 10. 08.

Reinforcement Learning in Robotics참고 문헌 11인용 수 2

한 줄 요약

이 논문은 운동 과제에서 부분 관찰 가능성 문제를 해결하기 위해 시간적 부트스트랩, 궤적 스캔을 통한 은닉 상태 초기화, 외부 경험 주입을 통합한 순환 결정적 정책 기울기(RDPG) 프레임워크를 제안한다. 거친 지형에서 OpenAI의 Bipedal-Walker 환경에서 평가된 결과, 이 방법은 오차 분산을 효과적으로 관리하고 장기적 맥락 및 공유 경험을 활용하여 주요 베이스라인들보다 높은 성공률과 뛰어난 적응성을 확보하였다.

ABSTRACT

This paper presents a deep learning framework that is capable of solving partially observable locomotion tasks based on our novel interpretation of Recurrent Deterministic Policy Gradient (RDPG). We study on bias of sampled error measure and its variance induced by the partial observability of environment and subtrajectory sampling, respectively. Three major improvements are introduced in our RDPG based learning framework: tail-step bootstrap of interpolated temporal difference, initialisation of hidden state using past trajectory scanning, and injection of external experiences learned by other agents. The proposed learning framework was implemented to solve the Bipedal-Walker challenge in OpenAI's gym simulation environment where only partial state information is available. Our simulation study shows that the autonomous behaviors generated by the RDPG agent are highly adaptive to a variety of obstacles and enables the agent to effectively traverse rugged terrains for long distance with higher success rate than leading contenders.

연구 동기 및 목표

• 에이전트가 전체 상태 정보를 확보하지 못하는 운동 과제에 대한 강화학습에서 부분 관찰 가능성 문제를 해결한다.
• 부분 관찰 환경에서 하위궤적 샘플링으로 인한 시간 차이 오차의 분산을 줄인다.
• 과거 궤적 맥락을 사용한 은닉 상태 초기화를 통해 정책 학습의 안정성과 샘플 효율성을 향상시킨다.
• 다른 에이전트로부터의 외부 경험을 통합함으로써 일반화 능력과 학습 속도를 향상시킨다.
• 모의 이중보행 보행 환경에서 복잡한 거친 지형을 장기적이고 적응적으로 탐색할 수 있도록 한다.

제안 방법

• 부분 관찰 설정에서 하위궤적 샘플링으로 인한 오차 분산을 줄이기 위해 보간된 시간적 차이 오차를 사용한 꼬리단계 부트스트랩을 도입한다.
• 과거 궤적 스캔을 통해 은닉 상태를 초기화하여 장기적 맥락을 유지하고 정책 일관성을 향상시킨다.
• 다른 에이전트로부터의 외부 경험을 리플레이 버퍼에 주입하여 학습 속도를 가속화하고 강건성을 향상시킨다.
• 순환 신경망을 도입하여 RDPG 프레임워크를 확장해 상태-행동 시퀀스의 순차적 의존성을 모델링한다.
• 연속 제어 과제에서 학습을 안정화시키기 위해 경험 재생을 사용한 결정적 정책 기울기 업데이트 규칙을 적용한다.
• 점진적으로 복잡해지는 지형 구성으로 커리큘럼 학습을 적용하여 학습 수렴성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 부분 관찰 설정에서 하위궤적 기반 학습에서 부분 관찰 가능성은 시간 차이 오차의 분산에 어떤 영향을 미치는가?
• RQ2 과거 궤적에서 유도된 은닉 상태 초기화가 정책 학습의 안정성과 성능 향상에 얼마나 기여하는가?
• RQ3 다른 에이전트로부터의 외부 경험 주입이 학습 가속화와 일반화 향상에 얼마나 효과적인가?
• RQ4 제안된 RDPG 확장 기법이 거친 지형에서 장기적 이동을 수행하는 데 있어 뛰어난 성능을 달성할 수 있는가?
• RQ5 다양한 지형 구성에서 성공률과 적응성 측면에서 이 프레임워크는 최첨단 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• 보간된 꼬리단계 부트스트랩을 사용함으로써 제안된 RDPG 프레임워크는 시간 차이 학습에서 오차 분산을 크게 감소시켰다.
• 과거 궤적 스캔을 통한 은닉 상태 초기화가 정책 일관성을 향상시키고, 부분 관찰 환경에서 더 나은 장기 계획 수립을 가능하게 하였다.
• 외부 경험 주입이 수렴 속도를 가속화하고 강건성을 향상시켰으며, 특히 복잡한 지형 시나리오에서 뚜렷한 효과를 보였다.
• Bipedal-Walker 환경에서 주요 베이스라인들보다 거친 지형을 횡단하는 데 더 높은 성공률를 기록하였다.
• 이 프레임워크는 다양한 장애물 구성에 걸쳐 효과적인 일반화 능력을 보이며 안정적이고 적응적인 장거리 이동을 가능하게 하였다.