[논문 리뷰] A Deep Reinforcement Learning Approach for Dynamically Stable Inverse Kinematics of Humanoid Robots

S Phaniteja, Parijat Dewangan외 3명|arXiv (Cornell University)|2018. 01. 31.

Robotic Locomotion and Control참고 문헌 19인용 수 6

한 줄 요약

이 논문은 인간형 로봇의 역기구학 문제를 동적 안정성과 함께 해결하기 위해 딥 강화학습(DRL) 기반의 접근법을 제안한다. 이 방법은 깊이 있는 결정적 정책 기반 강화학습(DDPG)을 사용하여 균형을 유지하면서 도달 작업 중에도 안정적인 관절 공간 궤적을 학습한다. 이는 끝단 기구의 위치를 90% 정확도로 유지하면서도 지지 다각형 내에서 제로 모멘트 포인트(ZMP)를 유지함으로써 복잡한 자세, 특히 관절이 있는 몸통을 포함한 상황에서도 성능을 발휘한다.

ABSTRACT

Real time calculation of inverse kinematics (IK) with dynamically stable configuration is of high necessity in humanoid robots as they are highly susceptible to lose balance. This paper proposes a methodology to generate joint-space trajectories of stable configurations for solving inverse kinematics using Deep Reinforcement Learning (RL). Our approach is based on the idea of exploring the entire configuration space of the robot and learning the best possible solutions using Deep Deterministic Policy Gradient (DDPG). The proposed strategy was evaluated on the highly articulated upper body of a humanoid model with 27 degree of freedom (DoF). The trained model was able to solve inverse kinematics for the end effectors with 90% accuracy while maintaining the balance in double support phase.

연구 동기 및 목표

• 높은 재undancy를 가진 인간형 로봇에서 실시간 역기구학(IK) 문제를 동적 안정성 제약 조건 하에 해결하는 데 목적을 두며.
• 특히 双지지 단계 동안 균형을 유지하면서 안정적이고 충돌이 없는 관절 구성 상태를 학습하는 데 목적을 두며.
• 기존의 수치적 IK 솔버의 한계, 예를 들어 조건이 나쁜 행렬 역행렬과 일관되지 않은 수렴 문제를 극복하는 데 목적을 두며.
• 딥 강화학습을 활용하여 안정성과 자기충돌 회피를 동시에 확보하면서도 복잡한 고도의 자유도(DoF) 구성에 일반화할 수 있도록 하는 데 목적을 두며.
• 인간다운 운동 생성을 위해 관절이 있는 몸통을 갖춘 27-DoF 인간형 모델을 대상으로 방법의 유효성을 검증하는 데 목적을 두며.

제안 방법

• 관절 구성 생성을 위한 연속 행동 정책을 학습하기 위해 깊이 있는 결정적 정책 기반 강화학습(DDPG)을 사용한다.
• 끝단 기구의 위치 오차, ZMP 안정성, 자기충돌 페널티를 조합한 보상 함수를 정의한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 우선순위 경험 재생 버퍼를 활용한다.
• 정책과 행동가치 함수를 근사하기 위해 별도의 액터 및 크리틱 신경망을 사용한다.
• 연속 행동 공간에서 정책 탐색을 장려하기 위해 학습 중 오르누슈-우울라우이 노이즈를 도입한다.
• 더 높은 민감도를 확보하기 위해 관절이 있는 몸통을 갖춘 27-DoF 인간형 모델을 사용하여 시뮬레이션 환경에서 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 분석적 또는 수치적 솔버에 의존하지 않고 DRL 기반 접근법이 27-DoF 인간형 로봇에 대해 안정적인 역기구학 해법을 학습할 수 있는가?
• RQ2 DDPG는 복잡한 도달 작업 중에 ZMP를 지지 다각형 내에 유지하는 정책을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 관절이 있는 몸통은 학습된 자세의 실현 가능성과 인간다운 정도를 어느 정도 향상시키는가?
• RQ4 자기충돌과 불안정성을 피하면서 다양한 목표 위치에 대해 학습된 정책이 일반화되는 정도는 어떠한가?
• RQ5 수렴성과 안정성 측면에서 전통적인 수치적 방법에 비해 DRL 기반의 IK 솔버는 어떤 성능을 보이는가?

주요 결과

• DDPG 기반의 IK 솔버는 9900개의 훈련 에피소드에서 평균 90%의 정확도를 달성했으며, 100개의 랜덤 테스트 샘플 중 최대 93%의 정확도를 기록했다.
• 정규화된 Q-값과 보상 곡선이 약 30,000 에피소드 후에 포화 상태에 도달하여 최적의 정책에 수렴한 것으로 나타났다.
• 모든 세 가지 시뮬레이션 작업 동안 ZMP는 지지 다각형 내에 유지되었으며, 이는 복잡한 동작 수행 중에도 동적 안정성이 확보되었음을 확인했다.
• 관절이 있는 몸통은 몸통을 굽히고 돌리는 것으로써 멀리 오른쪽이나 뒷왼쪽을 향해 도달하는 인간다운 자세를 가능하게 하였다.
• 특히 무릎 아래쪽을 향해 도달하는 고위험 구성 상태에서도 균형을 유지하고 자기충돌을 피하는 등 모델의 강건성을 입증하였다.
• 특히 고재량성 상황에서 전통적인 수치적 방법보다 대부분의 테스트 케이스에서 더 빠른 수렴을 보였다.