[논문 리뷰] Learning Locomotion Skills Using DeepRL: Does the Choice of Action Space Matter?

Xue Bin Peng, Michiel van de Panne|arXiv (Cornell University)|2016. 11. 03.

Reinforcement Learning in Robotics참고 문헌 30인용 수 67

한 줄 요약

이 논문은 운동 제어에서 행동 공간 선택이 딥 강화 학습에 미치는 영향을 조사하며, 토크, 근육 활성도, 목표 관절 각도, 목표 관절 속도 등의 파arameterization을 비교한다. 고수준 행동 공간(예: 목표 관절 각도)은 다양한 2차원 로봇과 보행 패턴에서 보행주기 모방 작업에서 학습 효율성, 정책의 강인성, 운동 품질 향상 및 쿼리 빈도 감소에 크게 기여한다.

ABSTRACT

The use of deep reinforcement learning allows for high-dimensional state descriptors, but little is known about how the choice of action representation impacts learning and the resulting performance. We compare the impact of four different action parameterizations (torques, muscle-activations, target joint angles, and target joint-angle velocities) in terms of learning time, policy robustness, motion quality, and policy query rates. Our results are evaluated on a gait-cycle imitation task for multiple planar articulated figures and multiple gaits. We demonstrate that the local feedback provided by higher-level action parameterizations can significantly impact the learning, robustness, and motion quality of the resulting policies.

연구 동기 및 목표

• 다양한 행동 표현 방식이 딥 강화 학습을 통한 운동 제어 정책 학습에 미치는 영향를 이해하는 것.
• 행동 파arameterization 간 학습 속도, 정책 강인성, 운동 품질, 쿼리 효율성 간의 상호 상충 관계를 평가하는 것.
• 복잡한 운동 제어 과제에서 저수준 제어(예: 토크)보다 고수준 행동 공간(예: 목표 관절 각도)이 유리한지를 규명하는 것.

제안 방법

• 네 가지 행동 파arameterization(관절 토크, 근육 활성도, 목표 관절 각도, 목표 관절 속도)을 평가하였다.
• 다양한 2차원 관절 기반 인물에 대해 보행주기 모방 과제에 딥 강화 학습 프레임워크를 적용하였다.
• 운동 유사도를 기반으로 한 보상 형상화 전략을 사용하여 전문가의 시연를 모방하도록 정책을 훈련시켰다.
• 학습 성능은 훈련 시간, 외부 교란에 대한 강인성, 운동 품질(예: 부드러움, 안정성), 정책 쿼리 빈도를 통해 측정되었다.
• 일반화 능력을 평가하기 위해 다양한 보행 패턴과 로봇 형태에서 실험을 수행하였다.
• 고수준 행동 공간에서의 국소 피드백이 학습 향상에 기여하는 핵심 메커니즘으로 분석되었다.

실험 결과

연구 질문

• RQ1 행동 공간 선택이 운동 제어 과제에서 딥 강화 학습의 샘플 효율성에 어떤 영향을 미치는가?
• RQ2 고수준 행동 표현 방식(예: 목표 관절 각도)을 사용할 경우 더 강인하고 고급 운동 정책이 도출되는가?
• RQ3 추론 과정에서 다양한 행동 공간은 운동 품질과 정책 쿼리 빈도 측면에서 어떻게 비교되는가?
• RQ4 고수준 행동 공간은 다양한 보행 패턴과 로봇 형태 간 정책 일반화에 얼마나 기여하는가?
• RQ5 행동 파arameterization에서의 국소 피드백은 정책 학습 가속화에 어떤 역할을 하는가?

주요 결과

• 고수준 행동 공간, 특히 목표 관절 각도는 저수준 제어(예: 토크)보다 학습 시간을 크게 감소시켰다.
• 목표 관절 각도를 사용한 정책는 환경적 교란과 시뮬레이션 노이즈에 대해 뛰어난 강인성을 보였다.
• 고수준 행동 공간을 사용한 정책에서는 항상 더 높은 운동 품질을 보였으며, 더 부드럽고 안정적인 보행을 구현하였다.
• 목표 관절 각도를 사용할 경우 정책 쿼리 빈도가 크게 감소하여 추론 효율성이 향상됨을 확인하였다.
• 근육 활성도 파arameterization은 중간 성능를 보였지만, 강인성이 떨어지고 하이퍼파라미터에 더 민감하였다.
• 고수준 행동 공간에 내재된 국소 피드백이 더 빠르고 신뢰할 수 있는 정책 학습을 가능하게 하는 핵심 요소로 규명되었다.