[論文レビュー] Neural Graph Evolution: Towards Efficient Automatic Robot Design

Tingwu Wang, Yuhao Zhou+2 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 31

ひとこと要約

Neural Graph Evolution (NGE) は、グラフニューラルネットワーク (GNN) を用いてロボットのボディ構造と制御ポリシーを同時に進化させることで、自動ロボット設計のための効率的な進化的アルゴリズムを提案する。GNNに基づくポリシー転送と不確実性を考慮したグラフ変異 (GM-UC) を活用することで、評価コストを低減し、1日間で1台の64コアマシンで、対称的なフィンを備えた魚やシマリスのような脚を持つロボットなど、力学的に整合性があり人間が設計したような構造を発見する。

ABSTRACT

Despite the recent successes in robotic locomotion control, the design of robot relies heavily on human engineering. Automatic robot design has been a long studied subject, but the recent progress has been slowed due to the large combinatorial search space and the difficulty in evaluating the found candidates. To address the two challenges, we formulate automatic robot design as a graph search problem and perform evolution search in graph space. We propose Neural Graph Evolution (NGE), which performs selection on current candidates and evolves new ones iteratively. Different from previous approaches, NGE uses graph neural networks to parameterize the control policies, which reduces evaluation cost on new candidates with the help of skill transfer from previously evaluated designs. In addition, NGE applies Graph Mutation with Uncertainty (GM-UC) by incorporating model uncertainty, which reduces the search space by balancing exploration and exploitation. We show that NGE significantly outperforms previous methods by an order of magnitude. As shown in experiments, NGE is the first algorithm that can automatically discover kinematically preferred robotic graph structures, such as a fish with two symmetrical flat side-fins and a tail, or a cheetah with athletic front and back legs. Instead of using thousands of cores for weeks, NGE efficiently solves searching problem within a day on a single 64 CPU-core Amazon EC2 machine.

研究の動機と目的

• 自動ロボット設計における高次元的かつ組み合わせ的探索空間の課題に対処すること。
• 従来、各設計に対して制御器を再びトレーニングする必要があった、候補となるロボット構造の評価にかかる計算コストを低減すること。
• グラフ構造の設計を効率的に探索することで、力学的に整合性があり人間が設計したようなロボット形状を発見すること。
• グラフ変異にモデルの不確実性を統合し、進化的探索における探索と活用のバランスを取ること。
• ロボット構造と制御ポリシーを同時に進化させることで、構造のみまたはポリシーのみ最適化する手法よりも優れた性能とより速い収束を達成すること。

提案手法

• 各ロボットをノード（ボディパーツ）とエッジ（ジョイント）で構成されるグラフとして表現し、ロボット設計をグラフ探索問題として定式化する。
• グラフニューラルネットワーク (GNN) を用いて制御ポリシーをパrameter化することで、類似したグラフ構造間で重みを共有し、学習済みスキルを転送可能にする。
• 基本的な操作（ノードやエッジの追加・削除など）を用いて繰り返しグラフを変異させ、高い性能を示す設計を選択する、集団ベースの進化的ループを実装する。
• 不確実性を考慮したグラフ変異 (GM-UC) を導入し、モデルの不確実性推定値を用いて変異の意思決定をガイドすることで、探索と活用のバランスを取る。
• 類似した設計が事前に評価済みのものから得られる重みを初期値として新しいグラフポリシーを初期化することで、転移学習を適用し収束を加速する。
• 強化学習の性能（例：移動距離）に基づくフィットネス関数を用い、進化的プロセスにおける選択をガイドする。

実験結果

リサーチクエスチョン

• RQ1 グラフ表現と GNN ベースのポリシー転送は、進化的探索における新しいロボット設計の評価コストを顕著に低減できるか？
• RQ2 モデルの不確実性をグラフ変異に組み込むことで、探索効率と高性能ロボット形状への収束が向上するか？
• RQ3 提案手法は、人間が設計した事前知識なしに、対称的なフィンを備えた魚やシマリスのような脚を持つような力学的に整合性のあるロボット構造を自動で発見できるか？
• RQ4 ランダムサーチや標準的な進化的戦略と比較して、最終的な性能と計算時間の点で NGE はどのように優れているか？
• RQ5 構造と制御ポリシーの両方を微調整することで、NGE は既存の人の設計によるロボット設計をどの程度改善できるか？

主な発見

• NGE は、人間の事前知識なしに、対称的な側面フィンと中央の尾を持つ魚、バランスの取れた脚を備えたシマリスのような歩行ロボットなど、力学的に整合性のあるロボット構造を発見する。これは、従来の手法では達成できなかった。
• NGE は、1台の64コア Amazon EC2 マシンで1日間で収束を達成し、従来の手法と比べて1桁の計算効率の向上を示している。
• GNN ベースのポリシー転送を用いることで、新しいグラフ構造へのポリシー初期化が迅速に行えるようになり、探索が著しく加速された。
• GM-UC は、探索と活用のバランスを適切に取るため、標準的な変異戦略よりも優れた性能を示し、魚と歩行者タスクの両方でより良い最終的性能を達成した。
• 微調整実験では、構造とポリシーを制限なしに同時に進化させる NGE が、構造を固定してのみ制御器をトレーニングするベースライン手法を上回った。
• 16コアマシンなどの限られた計算リソースでも、64コアマシンと同等の性能を達成したため、強力なスケーラビリティと効率性を示した。