[논문 리뷰] Neural Graph Evolution: Towards Efficient Automatic Robot Design

Tingwu Wang, Yuhao Zhou외 2명|arXiv (Cornell University)|2019. 06. 12.

Reinforcement Learning in Robotics참고 문헌 37인용 수 31

한 줄 요약

Neural Graph Evolution (NGE)는 그래프 신경망(GNNs)을 사용해 로봇의 기구적 구조와 제어 정책을 동시에 공진화시키는 효율적인 진화 알고리즘을 제안한다. GNN 기반 정책 전이와 불확실성 인식 그래프 변형(GM-UC)을 활용하여 평가 비용을 감소시키고, 단일 64코어 머신에서 하루 만에 기하학적으로 타당하고 인간 수준의 설계—예를 들어 대칭 꼬리 날개를 가진 물고기와 캐피처와 유사한 다리 구조를 가진 보행기—를 발견한다.

ABSTRACT

Despite the recent successes in robotic locomotion control, the design of robot relies heavily on human engineering. Automatic robot design has been a long studied subject, but the recent progress has been slowed due to the large combinatorial search space and the difficulty in evaluating the found candidates. To address the two challenges, we formulate automatic robot design as a graph search problem and perform evolution search in graph space. We propose Neural Graph Evolution (NGE), which performs selection on current candidates and evolves new ones iteratively. Different from previous approaches, NGE uses graph neural networks to parameterize the control policies, which reduces evaluation cost on new candidates with the help of skill transfer from previously evaluated designs. In addition, NGE applies Graph Mutation with Uncertainty (GM-UC) by incorporating model uncertainty, which reduces the search space by balancing exploration and exploitation. We show that NGE significantly outperforms previous methods by an order of magnitude. As shown in experiments, NGE is the first algorithm that can automatically discover kinematically preferred robotic graph structures, such as a fish with two symmetrical flat side-fins and a tail, or a cheetah with athletic front and back legs. Instead of using thousands of cores for weeks, NGE efficiently solves searching problem within a day on a single 64 CPU-core Amazon EC2 machine.

연구 동기 및 목표

• 자동 로봇 설계에서 고차원적이고 조합적 탐색 공간에 도전한다.
• 기존에 각 설계마다 새로운 제어기를 새로 훈련해야 하는 바쁜 평가 비용을 줄인다.
• 그래프 구조적 설계의 효율적 탐색을 통해 기하학적으로 타당하고 인간이 설계한 것과 유사한 로봇 형태를 발견할 수 있도록 한다.
• 진화적 탐색 중 탐색과 이용의 균형을 이루기 위해 모델의 불확실성을 그래프 변형에 통합한다.
• 로봇 구조와 제어 정책을 동시에 공진화시키는 것이 단일 구조 최적화나 단일 정책 최적화보다 뛰어난 성능과 더 빠른 수렴을 이끌어내는지 입증한다.

제안 방법

• 각 로봇를 노드(신체 부위)와 에지(관절)로 구성된 그래프로 표현하는 그래프 탐색 문제로 로봇 설계를 수립한다.
• 그래프 신경망(GNN)을 사용해 제어 정책을 매개변수화하여 유사한 그래프 구조 간에 가중치 공유와 학습된 기술의 전이를 가능하게 한다.
• 기본 연산(예: 노드/에지 추가/제거)을 사용해 그래프를 반복적으로 변형하고 높은 성능을 보이는 설계를 선택하는 인구 기반 진화 루프를 구현한다.
• 모델의 불확실성 추정치를 사용해 변형 결정을 안내하고 탐색과 이용의 균형을 이루는 그래프 변형에 불확실성 인식(GM-UC)을 도입한다.
• 이전에 평가된 유사한 설계의 가중치를 사용해 새로운 그래프 정책를 초기화함으로써 전이 학습을 적용해 수렴 속도를 가속화한다.
• 강화학습 성능(예: 이동 거리) 기반의 적합도 함수를 사용해 진화 과정에서의 선택을 이끌어낸다.

실험 결과

연구 질문

• RQ1 그래프 기반 표현과 GNN 기반 정책 전이가 진화적 탐색에서 새로운 로봇 설계 평가 비용을 크게 감소시키는가?
• RQ2 모델의 불확실성을 그래프 변형에 통합하면 탐색 효율성과 고성능 로봇 형태로의 수렴이 향상되는가?
• RQ3 제안된 방법이 인간 설계 사전 지식 없이도 기하학적으로 타당한 로봇 형태—예를 들어 대칭 꼬리 날개를 가진 물고기나 캐피처와 유사한 다리 구조—를 자동으로 발견할 수 있는가?
• RQ4 NGE는 무작위 탐색과 표준 진화 전략에 비해 최종 성능과 계산 시간 측면에서 어떻게 비교되는가?
• RQ5 NGE는 로봇의 구조와 제어 정책을 모두 최적화함으로써 기존 인간 설계 로봇 형태를 얼마나 잘 개선할 수 있는가?

주요 결과

• NGE는 인간의 사전 지식 없이도 기하학적으로 타당한 로봇 형태—예를 들어 두 개의 대칭 측면 날개와 중심 꼬리 날개를 가진 물고기, 균형 잡힌 다리를 가진 캐피처 유사 보행기—를 발견한다. 이는 이전 방법이 달성하지 못한 바이다.
• NGE는 단일 64코어 Amazon EC2 머신에서 하루 만에 수렴을 달성하여 이전 방법 대비 효율성에서 한 단계 향상된 결과를 보였다.
• GNN 기반 정책 전이를 통해 평가 비용을 감소시켜 새로운 그래프 구조에 대해 정책 초기화를 신속하게 수행함으로써 탐색 속도를 크게 가속화했다.
• GM-UC는 탐색과 이용의 균형을 잘 이끌어내어 물고기 및 보행기 작업에서 표준 변형 전략보다 더 뛰어난 최종 성능을 달성했다.
• 최적화 실험에서, NGE는 로봇의 구조와 정책을 동시에 공진화하는 방식이 단지 제어기만 훈련하는 기반 방법보다 뛰어난 성능을 보였다.
• 심지어 제한된 컴퓨팅 자원(예: 16코어 머신)에서도 NGE는 64코어 머신에서의 성능과 유사한 결과를 달성하여 강력한 확장성과 효율성을 입증했다.