[논문 리뷰] Hierarchical visuomotor control of humanoids

Josh Merel, Arun Ahuja외 6명|arXiv (Cornell University)|2018. 11. 23.

Human Pose and Action Recognition참고 문헌 40인용 수 49

한 줄 요약

본 논문은 저수준 mocap 기반 모터 컨트롤러와 고수준 비전-메모리 컨트롤러를 결합한 계층적 비주얼-모터 시스템을 학습시켜 자기시점 비전으로부터 고-DoF 휴머노이드 작업을 해결한다. 이산 제어 조각 전환은 테스트된 방법들 중에서 최상의 성능을 보였다.

ABSTRACT

We aim to build complex humanoid agents that integrate perception, motor control, and memory. In this work, we partly factor this problem into low-level motor control from proprioception and high-level coordination of the low-level skills informed by vision. We develop an architecture capable of surprisingly flexible, task-directed motor control of a relatively high-DoF humanoid body by combining pre-training of low-level motor controllers with a high-level, task-focused controller that switches among low-level sub-policies. The resulting system is able to control a physically-simulated humanoid body to solve tasks that require coupling visual perception from an unstabilized egocentric RGB camera during locomotion in the environment. For a supplementary video link, see https://youtu.be/7GISvfbykLE .

연구 동기 및 목표

• 고-DoF 휴머노이드를 위한 통합 지각, 기억 및 모터 제어의 동기 부여와 시연.
• 모션 캡처에서 도출된 저수준 모터 스킬 중에서 선택하는 고수준 컨트롤러를 갖춘 모듈식 에이전트를 개발.
• 자기시점 비전 하에서 고-저수준 컨트롤러 연결 전략을 평가.
• 비주얼-모터 과제에서 제어 조각의 확장성 대 구조화된 저수준 컨트롤러를 평가.

제안 방법

• 자세, 속도, 방향, 엔드이펙터 오차 및 자이로/속도 편차를 벌하는 에너지 기반 보상 함수를 사용하여 짧은 모션-캡처 클립을 추적하도록 저수준 컨트롤러를 학습시킨다.
• 목표 자세에 도달하도록 감독 학습으로 저수준 정책을 선학습하고, 그 다음 TD-학습과 SVG(0)를 이용한 오프정책 강화학습으로 추가 모방 및 미세 조정을 수행한다.
• 고수준 컨트롤러(HL)와 저수준 컨트롤러(LL)를 방향가능 컨트롤러, 스위칭 컨트롤러 또는 제어 조각들(콜드-스위칭)을 통해 LL 정책 중에서 선택하도록 인터페이스한다.
• 고수준 관찰은 자기시점 비전(전면 카메라)과 고유감각을 포함하며, 선형 인코더, ResNet 이미지 인코더, 그리고 액터-크리틱 프레임워크 내부의 LSTM을 통해 처리된다.
• MuJoCo에서 Go-to-target, Walls, Gaps, Forage, 및 Heterogeneous Forage 과제에 대해 다양한 조각 길이와 수로 다중 HL-LL 인터페이스를 평가한다.

실험 결과

연구 질문

• RQ1 시각 및 기억 제어를 사용하는 계층적 비주얼-모터 아키텍처가 자기시점 카메라 입력에서 고-DoF 휴머노이드를 제어하여 작업을 해결할 수 있는가?
• RQ2 고수준 컨트롤러와 결합된 저수준 모캡 기반 모터 컨트롤러가 확장 가능하고 유연한 작업지향 모터 제어를 가능하게 하는가?
• RQ3 비주얼-모터 과제에서 학습 및 실행을 가장 잘 지원하는 고-저수준 컨트롤러 간 인터페이스 전략은 무엇인가?
• RQ4 복잡한 네비게이션 및 기억 과제에서 제어 조각의 수와 질이 성능 및 학습 효율에 어떻게 영향을 미치는가?

주요 결과

• 제어 조각 기반 방법이 이산적인 고수준 선택으로 핵심 과제에서 가장 우수한 전반 성능을 달성했다.
• 비전으로부터의 엔드투엔드 학습은 Go-to-target에서만 성공했고 Forage 과제에서는 실패했으며, 구조화된 모터 사전 지식 없이 한계가 있음을 시사한다.
• 방향가능(스티어러블) 및 스위칭 컨트롤러는 일부 과제를 해결할 수 있었으나 제어 조각보다 유연성이 떨어지거나 수렴 속도가 느렸다.
• 메모리 기반의 이질적 Forage는 시스템의 기억 기반 비주얼-모터 제어 능력을 시연했다.
• 고수준 정책은 자기시점 비전을 활용해 저수준 기술을 선택하고 순서화하여 견고한 보행 및 장애물 협상을 달성했다.