[論文レビュー] Integrating Sample Inheritance into Bayesian Optimization for Evolutionary Robotics

K. Ege de Bruin, Kyrre Glette+1 more|arXiv (Cornell University)|Jan 7, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は、ベイズ最適化に基づくラムダ式的なサンプル継承を用いて、ロボット形態学横断でコントローラ学習をブートストラップし、進化的ロボティクスにおける継承なしのベースラインと二つの継承スキームを比較する。

ABSTRACT

In evolutionary robotics, robot morphologies are designed automatically using evolutionary algorithms. This creates a body-brain optimization problem, where both morphology and control must be optimized together. A common approach is to include controller optimization for each morphology, but starting from scratch for every new body may require a high controller learning budget. We address this by using Bayesian optimization for controller optimization, exploiting its sample efficiency and strong exploration capabilities, and using sample inheritance as a form of Lamarckian inheritance. Under a deliberately low controller learning budget for each morphology, we investigate two types of sample inheritance: (1) transferring all the parent's samples to the offspring to be used as prior without evaluating them, and (2) reevaluating the parent's best samples on the offspring. Both are compared to a baseline without inheritance. Our results show that reevaluation performs best, with prior-based inheritance also outperforming no inheritance. Analysis reveals that while the learning budget is too low for a single morphology, generational inheritance compensates for this by accumulating learned adaptations across generations. Furthermore, inheritance mainly benefits offspring morphologies that are similar to their parents. Finally, we demonstrate the critical role of the environment, with more challenging environments resulting in more stable walking gaits. Our findings highlight that inheritance mechanisms can boost performance in evolutionary robotics without needing large learning budgets, offering an efficient path toward more capable robot design.

研究の動機と目的

• 各形態におけるコントローラ学習予算を削減して体-脳共最適化を動機づける。
• ジェネレーション間でベイズ最適化データを転送する二つのサンプル継承スキームを導入する。
• 継承が環境・形態 similarity にどう影響して学習を改善するかを評価する。
• 継承されたサンプルを再評価することで最も大きな性能向上を示す。

提案手法

• Revolve2モジュール型ロボットフレームワークを使用して、対称的で直接的なジェノタイプエンコーディングを持つ形態を生成する。
• 各形態のコントローラパラメータを、マテン5/2カーネルと上限信頼境界（UCB）取得戦略を用いたベイズ最適化で最適化する。
• 二つの継承スキームを比較する：(i) サンプルを継承（親の全サンプルを再評価なしで priors として転送）、(ii) 再評価（上位の親サンプルを転送し、子に対して再評価する）。

実験結果

リサーチクエスチョン

• RQ1 進化的ロボティクスにおいて厳しい予算下でBO駆動のコントローラ学習をサンプル継承は促進できるか？
• RQ2 二つの継承スキームは、異なる環境や形態において性能の点でどのように比較されるか？
• RQ3 親と子の間の類似性や環境の難易度は継承の利益に影響するか？
• RQ4 継承は学習ディレイ（delta）に対してベースラインの継承なしと比較してどのような効果を持つか？

主な発見

Strategy	Inherited	Reevaluated	Fresh
Inherit Samples	30	0	30
Reevaluate	5	5	25

• 再評価は、ほとんどの環境でサイン波とCPGコントローラの両方にわたり最良の性能を与える。
• サンプルを継承すると、平坦な単純環境での性能が継承なしより改善され、サイン波コントローラでは時折ステップで改善を生む。一方、CPGでは一貫性が低い。
• 継承（特に再評価）は学習ディレを増加させ、厳しい予算下でのブートストラップ効果を示す。
• offspring形態が親に似ているほど継承の利益が大きく、形態が diverge するほど利益は減少する。
• より難易度の高い環境は安定した歩行戦略と豊かな locomotion のタイプを促進し、継承の有効性に対する環境の影響を強調する。