[论文解读] Evolving Shepherding Behavior with Genetic Programming Algorithms

Joshua Brulé, Kevin C. Engel+2 more|arXiv (Cornell University)|Mar 19, 2016

Evolutionary Algorithms and Applications参考文献 4被引用 6

一句话总结

本文提出使用遗传编程在模拟的羊-狗驱赶场景中演化牧羊行为，其中表达式树根据环境特征（如羊的位置和羊群质心）控制狗的移动。演化出的算法优于人工设计的策略，并在各种条件下具有良好泛化能力，捕获羊的成功率最高达到78%。

ABSTRACT

We apply genetic programming techniques to the `shepherding' problem, in which a group of one type of animal (sheep dogs) attempts to control the movements of a second group of animals (sheep) obeying flocking behavior. Our genetic programming algorithm evolves an expression tree that governs the movements of each dog. The operands of the tree are hand-selected features of the simulation environment that may allow the dogs to herd the sheep effectively. The algorithm uses tournament-style selection, crossover reproduction, and a point mutation. We find that the evolved solutions generalize well and outperform a (naive) human-designed algorithm.

研究动机与目标

• 开发一种基于学习的牧羊方法，无需预设策略或预测模型。
• 使用遗传编程演化适应动态羊群的狗的行为。
• 评估演化行为在环境条件改变下的泛化能力和鲁棒性。
• 从性能和适应性角度，将演化解决方案与人工设计的启发式算法进行比较。

提出的方法

• 遗传编程演化表达式树，用于在每个时间步更新每只狗的受力。
• 树的运算对象包括狗的位置、最近的自由羊、羊群质心以及一个导向点。
• 适应度通过500次模拟步内捕获的羊的比例来衡量。
• 选择采用锦标赛选择法，繁殖过程使用交叉和点突变。
• 模拟中羊群遵循固定的聚类规则：对齐、分离和避障。
• 狗受场地边界约束，无法穿透围栏。

实验结果

研究问题

• RQ1 遗传编程能否在无需人工设计启发式或预测模型的情况下演化出有效的牧羊策略？
• RQ2 演化出的行为在不同初始条件和环境参数下泛化能力如何？
• RQ3 多只狗协作驱赶是否优于单只狗的策略？
• RQ4 演化出的行为与人工编写的基线算法在定量上相比如何？
• RQ5 训练时长对演化解决方案的鲁棒性和泛化能力有何影响？

主要发现

• 经过220代演化，单只狗的算法平均适应度达到0.743 ± 0.003，超过人工设计的“simple-dog”算法。
• 三只狗协作的算法适应度达到0.780 ± 0.003，略优于单只狗的解决方案。
• 适应度在50代内即收敛至接近完美的性能，表明有效策略被快速学习。
• 演化出的行为始终优于“split-dog”基线，后者因过拟合而无法泛化。
• 在羊群数量、速度和初始生成位置等参数改变时，算法仍保持高性能，表现出良好泛化能力。
• 尽管对人类而言难以理解，演化出的程序表现出稳健且自适应的行为，包括协调驱赶和策略性定位。