[논문 리뷰] Learning Humanoid Robot Motions Through Deep Neural Networks

Luckeciano C. Melo, Marcos R. O. A. Máximo외 1명|arXiv (Cornell University)|2019. 01. 02.

Robotic Locomotion and Control참고 문헌 16인용 수 8

한 줄 요약

이 논문은 인간형 로봇의 보행 및 발차기와 같은 운동을 운동의 구조에 대한 사전 가정 없이 관절 각도 데이터로부터 직접 학습하고 복제할 수 있는 딥 네ural 네트워크 프레임워크를 제안한다. 이 방법은 동일한 네트워크 아키텍처와 하이퍼파ram터를 사용하여 다른 팀의 복잡한 운동, 예를 들어 DRL 최적화된 발차기까지도 성공적으로 모방함으로써 시뮬레이션 환경에서의 이식성과 고정밀 복제 능력을 입증한다.

ABSTRACT

Controlling a high degrees of freedom humanoid robot is acknowledged as one of the hardest problems in Robotics. Due to the lack of mathematical models, an approach frequently employed is to rely on human intuition to design keyframe movements by hand, usually aided by graphical tools. In this paper, we propose a learning framework based on neural networks in order to mimic humanoid robot movements. The developed technique does not make any assumption about the underlying implementation of the movement, therefore both keyframe and model-based motions may be learned. The framework was applied in the RoboCup 3D Soccer Simulation domain and promising results were obtained using the same network architecture for several motions, even when copying motions from another teams.

연구 동기 및 목표

• 운동의 구조에 대한 사전 가정 없이도 일반적인 인간형 로봇 운동 학습 프레임워크를 개발하는 것.
• 키프레임 및 모델 기반 운동을 포함한 다양한 운동을 관절 궤적 데이터에 기반한 지도 학습을 통해 모방할 수 있도록 하는 것.
• 다른 팀의 제어 정책을 역공학하지 않고도 고성능 운동을 에이전트의 운동 레퍼토리로 이식하는 것.
• 미래의 강화 학습 기반 정책 최적화를 위한 잠재적 시드로 활용 가능한 운동의 신경망 표현을 수립하는 것.
• 실제 시뮬레이션 환경에서 다양한 운동 유형과 외부 운동 원천에 대해 프레임워크의 일반화 능력을 검증하는 것.

제안 방법

• 기존의 키프레임 운동 또는 모션 캡처 데이터로부터 이산적인 시간 단위에서 관절 각도 궤적을 수집한다.
• 수집된 궤적 데이터에 기반한 지도 학습을 통해 시간 인스턴스를 관절 각도 구성으로 매핑하는 피드포워드 딥 네럴 네트워크를 훈련한다.
• 데이터 수집 과정에서 키프레임 단계로부터 매끄러운 관절 궤적을 생성하기 위해 세제곱 스퍼인 보간법을 적용한다.
• 다양한 운동 유형(예: 보행, 발차기)에 동일한 고정된 네트워크 아키텍처와 하이퍼파ram터를 적용하여 일반화 능력을 평가한다.
• 관절 제어기를 사용하여 네트워크가 예측한 관절 위치를 추적함으로써 오픈 루프 방식으로 학습된 운동을 실행한다.
• 다른 팀의 에이전트로부터 실시간 관절 값을 추출하기 위해 수정된 RoboCup 3D 시뮬레이션 서버를 활용한다.

실험 결과

연구 질문

• RQ1 동일한 딥 네럴 네트워크 아키텍처가 보행 및 발차기와 같은 다양한 인간형 로봇 운동에 일반화될 수 있는가?
• RQ2 내부 제어 논리에 대한 접근 권한 없이도 신경망이 다른 팀의 복잡한 고차원 운동을 얼마나 정확하게 모방할 수 있는가?
• RQ3 특히 동적 및 비이상적인 조건에서 오픈 루프 방식으로 실행될 경우 학습된 운동의 성능은 어떻게 되는가?
• RQ4 학습된 신경망 운동이 종래의 강화 학습 기반 정책 최적화를 위한 효과적인 초기화로 활용될 수 있는가?
• RQ5 고도로 최적화된 또는 강화 학습 기반 기법을 사용하는 에이전트의 운동을 복제할 경우 복제 정밀도는 어느 정도인가?

주요 결과

• 동일한 신경망 아키텍처와 하이퍼파ram터가 아키텍처 변경 없이도 보행 및 발차기와 같은 여러 운동 유형을 성공적으로 학습하고 복제하였다.
• UT Austin Villa 팀의 DRL 최적화된 발차기를 고정밀도로 모방함으로써, 제어 정책 역공학 없이도 다른 팀 간의 이식성이 입증되었다.
• 학습된 보행 운동은 포워드 워크 테스트에서 평균 속도 0.23 m/s, Y 방향 오차 평균 0.96 m를 기록하여 오픈 루프 실행에서 기능적이지만 편향된 성능을 보였다.
• 오픈 루프 실행 및 관절 다이내믹스 감쇠에도 불구하고, 학습된 운동은 비경쟁적 상황에서 충분한 안정성과 성능을 유지하였다.
• 신경망 기반 운동 표현을 통해 키프레임 운동을 학습된 등가 운동으로 직접 교체할 수 있었으며, 모든 시험 운동에서 성능가 유지되었다.
• 결과적으로 학습된 신경망 운동은 향후 강화 학습 기반 정책 최적화를 위한 효과적인 시드로 활용될 수 있으며, 피드백 기반의 자가 보정 운동 정책을 가능하게 한다.