[논문 리뷰] Optimizing Gait Libraries via a Coverage Metric

Brian Bittner, Shai Revzen|arXiv (Cornell University)|2021. 07. 19.

Robotic Locomotion and Control참고 문헌 31인용 수 4

한 줄 요약

이 논문은 로봇의 기능적 손상 후 복구 능력을 유지할 수 있도록 기반 운동 원리 라이브러리를 최적화하기 위한 커버리지 메트릭을 제안한다. 데이터 기반 시스템 식별과 리 군 기반 상태 래티스를 활용하여, 인간의 직관이나 사전 정의된 운동 유형에 영향을 받지 않는 비직관적이고 고커버리지의 보행 패턴을 발견한다. 이 방법은 시뮬레이션 및 물리적 로봇을 대상으로 검증되었으며, 나무 가지로 구성된 로봇까지 포함하여 빠른 손상 후 이동 능력 회복을 달성했으며, 인간의 편향을 최소화하였다.

ABSTRACT

Many robots move through the world by composing locomotion primitives like steps and turns. To do so well, robots need not have primitives that make intuitive sense to humans. This becomes of paramount importance when robots are damaged and no longer move as designed. Here we propose a goal function we call "coverage", that represents the usefulness of a library of locomotion primitives in a manner agnostic to the particulars of the primitives themselves. We demonstrate the ability to optimize coverage on both simulated and physical robots, and show that coverage can be rapidly recovered after injury. This suggests that by optimizing for coverage, robots can sustain their ability to navigate through the world even in the face of significant mechanical failures. The benefits of this approach are enhanced by sample-efficient, data-driven approaches to system identification that can rapidly inform the optimization of primitives. We found that the number of degrees of freedom improved the rate of recovery of our simulated robots, a rare result in the fields of gait optimization and reinforcement learning. We showed that a robot with limbs made of tree branches (for which no CAD model or first principles model was available) is able to quickly find an effective high-coverage library of motion primitives. The optimized primitives are entirely non-obvious to a human observer, and thus are unlikely to be attainable through manual tuning.

연구 동기 및 목표

• 인간의 직관이나 사전 정의된 운동 유형에 의존하지 않고, 보행 원리 라이브러리의 유용성을 평가할 수 있는 메트릭을 개발하는 것.
• 커버리지 기반 목표 함수를 사용해 손상 후 보행 원리 라이브러리를 재최적화함으로써 로봇이 기계적 손상 후에도 탐색 능력을 복구할 수 있도록 하는 것.
• 수동으로 설계된 원리에 대한 의존도를 줄이고, 최적화를 통해 로봇이 효과적인 보행 패턴을 자발적으로 발견할 수 있도록 하는 것.
• 커버리지 최적화가 비표준 또는 모델링되지 않은 형태의 로봇에게도 비직관적이고 높은 성능의 보행 패턴을 도출할 수 있음을 입증하는 것.
• 자유도의 영향이 손상 복구 성능에 미치는 영향과 다양한 로봇 설계에서 커버리지 메트릭의 강건성에 대해 조사하는 것.

제안 방법

• 커버리지 메트릭은 로봇의 구성공간(SE(2) 또는 SE(3)로 모델링된 리 군) 내 영역을 원리 라이브러리가 얼마나 조밀하게 채울 수 있는지의 정도로 정의된다.
• 실험적 운동 데이터로부터 데이터 기반의 샘플 효율적인 시스템 식별을 사용해 로봇 동역학을 모델링하며, CAD나 제1원리 모델이 필요 없도록 한다.
• 목표 함수는 SE(2) 내 목표 지점들에서 원리 조합을 통해 도달 가능한 상태까지의 평균 거리를 최소화하는 방식으로 원리를 최적화한다.
• 최적화는 반복적으로 수행되며, 초기 보행 패턴이 탐색되고, 성능 평가를 통해 가장 우수한 부분집합이 반복적으로 개선된다.
• 순차적 운동을 모델링하기 위해 리 군의 병합 연산을 활용하여 원리 조합으로부터 도달 가능한 구성 상태를 정확하게 계산할 수 있다.
• 이 방법은 시뮬레이션된 로봇과 나무 가지로 구성된 물리적 로봇에 적용되었으며, 사전 CAD 모델이나 기계적 모델이 제공되지 않았다.

실험 결과

연구 질문

• RQ1 인간의 편향이나 사전 정의된 운동 유형 없이 커버리지 메트릭을 사용해 비직관적이고 고성능의 보행 원리를 발견할 수 있는가?
• RQ2 커버리지 메트릭을 사용해 손상 후 보행 원리 라이브러리를 재최적화함으로써 로봇이 탐색 능력을 얼마나 효과적으로 복구할 수 있는가?
• RQ3 자유도가 손상된 로봇의 커버리지 복구 속도와 품질에 어떤 영향을 미치는가?
• RQ4 커버리지 최적화 방법이 나무 가지로 구성된 로봇처럼 모델링되지 않거나 비표준 형태의 로봇에도 적용 가능한가?
• RQ5 커버리지 메트릭은 전통적인 수동 설계 또는 방향 제약이 있는 보행 패턴보다 더 강건하고 상호보완적인 원리 라이브러리를 도출하는가?

주요 결과

• 8회 반복의 보행 최적화 후 로봇은 1 사이클당 몸체 길이의 40%를 전진하고, 각 사이클당 0.10 라디안의 회전률을 기록하였다.
• 하드웨어에서 5회 반복의 보행 라이브러리 최적화 후 커버리지 점수가 0.97에서 0.76으로 감소하여 공간 커버리지가 향상됨을 확인하였다.
• 나무 가지로 구성된 로봇은 CAD 모델이나 제1원리 동역학 모델이 없음에도 불구하고 비직관적이고 고커버리지의 보행 원리 라이브러리를 성공적으로 발견하였다.
• 최적화 과정은 구글에서 사용한 강화 학습 방법과 비교해도 경쟁 가능한 시간 척도 내에서 고커버리지의 보행 패턴을 복구하였다.
• 4개 이상의 자유도를 초과해 추가할 경우 복구 성능 향상에 대한 수익 감소 효과가 나타나, 손상 복구에 효과적인 부가 자유도의 임계값이 존재함을 시사하였다.
• 커버리지 메트릭은 이동 중에 상당한 회전을 수반하는 보행 패턴을 발견할 수 있었으며, 이는 인간에게는 비직관적이지만 탐색에 매우 효과적인 것으로 밝혀졌다.