[논문 리뷰] DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems

Pierre Schumacher, Daniel Häufle외 3명|arXiv (Cornell University)|2022. 05. 30.

Muscle activation and electromyography studies인용 수 6

한 줄 요약

DEP-RL은 과다구성된 근골격계 시스템에서 강화학습을 위한 새로운 탐색 전략을 제안하며, 차분 외재성 플라스티시티(Differential Extrinsic Plasticity, DEP)를 통합하여 상관관계가 있고 신체 인식이 반영된 운동 노이즈를 생성한다. 이는 고차원적 근육 제어 공간에서 복잡한 접근 및 운동 작업을 빠르고 샘플 효율적으로 학습할 수 있게 하며, 최대 120개의 근육을 가진 작업에서 이전 방법들보다 샘플 효율성과 내구성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Muscle-actuated organisms are capable of learning an unparalleled diversity of dexterous movements despite their vast amount of muscles. Reinforcement learning (RL) on large musculoskeletal models, however, has not been able to show similar performance. We conjecture that ineffective exploration in large overactuated action spaces is a key problem. This is supported by the finding that common exploration noise strategies are inadequate in synthetic examples of overactuated systems. We identify differential extrinsic plasticity (DEP), a method from the domain of self-organization, as being able to induce state-space covering exploration within seconds of interaction. By integrating DEP into RL, we achieve fast learning of reaching and locomotion in musculoskeletal systems, outperforming current approaches in all considered tasks in sample efficiency and robustness.

연구 동기 및 목표

• 표준 노이즈 전략이 실패하는 고차원적이고 과다구성된 근골격계 시스템에서 탐색 전략이 비효율적인 문제를 해결하기 위해.
• 특히 DEP를 포함한 상관관계가 있는 탐색 노이즈가 부족한 운동 시스템에서 상태 공간을 효과적으로 커버할 수 있는지 조사하기 위해.
• 행동 공간을 단순화하거나 전문가 지도 데이터를 사용하지 않고도 근육 자극 수준에서 샘플 효율적이고 내구성 있는 강화학습 제어를 가능하게 하는 방법을 개발하기 위해.
• 다양한 자유도와 근육 수를 가진 다양한 운동 및 접근 작업에 걸쳐 방법의 일반화 능력을 입증하기 위해.
• 운동 작업에서 분포 외부의 교란 조건 하에서도 접근 방식의 내구성을 검증하기 위해.

제안 방법

• 시간에 따라 상관관계가 있고 상태에 따라 달라지는 운동 노이즈를 생성하기 위해, 자율 조직화 제어 규칙인 차분 외재성 플라스티시티(DEP)를 강화학습 학습 루프에 통합한다.
• 과거와 현재 센서 속도 간의 상관관계를 기반으로 액션 조정을 계산하는 DEP 규칙를 사용한다: $ C_{t} = \tanh(\kappa \dot{s}_{t} \dot{s}_{t-\Delta t}) $, 여기서 $ \Delta t $는 시간 지연, $ \kappa $는 이득이다.
• 각 에피소드 내에서 강화학습 정책과 DEP 컨트롤러를 번갈아 사용하며, 탐색과 이용의 균형을 위해 스위치 확률 $ p_{\text{switch}} $를 사용한다.
• 최소한의 사전 지식만을 사용한다—단지 제어 신호에서 근육 길이로의 항등행렬 매핑만을 사용하며, 수작업으로 설계된 상관관계 행렬이나 구조적 사전 지식을 피한다.
• 인간 팔(50개 근육) 및 오스트리치(120개 근육)를 포함한 시뮬레이션된 근골격계 모델의 근육 자극 수준에 직접 적용한다.
• 표준 강화학습 알고리즘(예: MPO)을 사용하며, DEP를 탐색 메커니즘으로 통합함으로써 보상 형상화나 커리큘럼 학습 없이도 적용한다.

실험 결과

연구 질문

• RQ1 표준 노이즈 전략이 실패하는 과다구성된 근골격계 시스템에서 DEP와 같은 상관관계가 있는 탐색 노이즈가 상태 공간을 효과적으로 커버할 수 있는가?
• RQ2 DEP는 $\epsilon$-greedy, 상관관계 없는 가우시안 노이즈 등의 일반적인 탐색 전략과 비교해 샘플 효율성과 내구성 면에서 어떻게 성능을 발휘하는가?
• RQ3 DEP를 강화학습에 통합함으로써 고차원적 근육 공간에서 복잡한 작업(예: 접근 및 운동)의 학습 성능이 향상되는가?
• RQ4 특히 달리기와 같은 불안정한 작업에서 스위치 확률 $ p_{\text{switch}} $와 같은 초모델 하이퍼파라미터에 대해 DEP-RL 방법이 얼마나 민감한가?
• RQ5 보상 형상화, 전문가 지도 데이터, 행동 공간 단순화 없이도 DEP-RL이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 보상 형상화나 커리큘럼 학습 없이도, 120개 근육을 가진 시뮬레이션된 오스트리치 운동 작업에서 기록된 바 가장 높은 최고 속도를 달성했다.
• 50개의 개별 제어 가능한 근육을 가진 7자유도 인간 팔 모델에서 근육 자극 수준에서 강화학습을 통해 안정적인 제어를 성공적으로 학습했다—이전에는 강화학습로 해결되지 못한 문제였다.
• 모든 평가된 작업(접근 및 운동 포함)에서 기준 강화학습 방법보다 샘플 효율성과 내구성 면에서 뛰어난 성능을 보였다.
• 세 가지 운동 작업에서 분포 외부의 교란 조건 하에서도 뛰어난 내구성을 보였으며, 에이전트가 교란을 받더라도 성능이 안정적으로 유지되었다.
• 실험 결과 DEP는 $ \Delta t $ 값의 넓은 범위(5–28)에서 효과적이며, 다양한 시스템 동역학에 일반화됨을 보여주었다.
• 절단 분석 결과, 안정적인 작업(예: humanreacher)에서는 $ p_{\text{switch}} $에 대한 민감도가 낮지만, 불안정한 작업(예: ostrich-run)에서는 높은 DEP 빈도로 자주 넘어지는 경향이 있어 민감도가 높았다.