[論文レビュー] Evolving Shepherding Behavior with Genetic Programming Algorithms

Joshua Brulé, Kevin C. Engel+2 more|arXiv (Cornell University)|Mar 19, 2016

Evolutionary Algorithms and Applications参考文献 4被引用数 6

ひとこと要約

本論文では、遺伝的プログラミングを用いて、シミュレートされたヤギとドッグの群れの行動を進化させることで、ヤギの位置や群れの重心といった環境的要因に基づいてドッグの動きを制御する式木を用いる。進化したアルゴリズムは人間が設計した戦略を上回り、さまざまな条件下でも良好に一般化し、ヤギの捕獲に最大78％の成功を達成する。

ABSTRACT

We apply genetic programming techniques to the `shepherding' problem, in which a group of one type of animal (sheep dogs) attempts to control the movements of a second group of animals (sheep) obeying flocking behavior. Our genetic programming algorithm evolves an expression tree that governs the movements of each dog. The operands of the tree are hand-selected features of the simulation environment that may allow the dogs to herd the sheep effectively. The algorithm uses tournament-style selection, crossover reproduction, and a point mutation. We find that the evolved solutions generalize well and outperform a (naive) human-designed algorithm.

研究の動機と目的

• 事前に定義された戦略や予測モデルを用いずに、学習ベースの群れの行動を発展させること。
• 動的なヤギの群れに適応する遺伝的プログラミングを用いたドッグ行動の進化。
• 環境条件が変化した場合の進化した行動の一般化性と頑健性を評価すること。
• 性能と適応性の観点から、進化した解決策と人間が作成したヒューリスティクスを比較すること。

提案手法

• 遺伝的プログラミングが、各タイムステップごとにドッグの力の更新を表す式木を進化させる。
• 木のオペランドには、ドッグの位置、最も近い自由なヤギ、群れの重心、およびステアリングポイントが含まれる。
• フィットネスは500ステップのシミュレーション内で捕獲されたヤギの割合で測定される。
• 選択にはトーナメント選択が用いられ、再結合とポイント突然変異が再生産に使用される。
• シミュレーションでは、ヤギに固定された群れのルール（整列、分離、障害物回避）が使用される。
• ドッグはフィールドの境界に制約され、フェンスを突き抜けない。

実験結果

リサーチクエスチョン

• RQ1 人間が設計したヒューリスティクスや予測モデルなしに、遺伝的プログラミングが効果的な群れの戦略を進化させられるか？
• RQ2 進化した行動は、異なる初期条件や環境パラメータに対してどの程度一般化できるか？
• RQ3 複数のドッグによる協働的群れの行動は、単一ドッグ戦略よりも性能が向上するか？
• RQ4 進化した行動は、人間が作成したベースラインアルゴリズムと定量的にどの程度比較できるか？
• RQ5 訓練期間の長さが、進化した解決策の頑健性と一般化性に与える影響は何か？

主な発見

• 220世代経過後、進化した単一ドッグアルゴリズムは平均フィットネス0.743 ± 0.003を達成し、人間が設計した「シンプルドッグ」アルゴリズムを上回った。
• 3頭のドッグによる協働アルゴリズムはフィットネス0.780 ± 0.003に達し、単一ドッグの解決策をわずかに上回った。
• フィットネスは50世代以内にほぼ完全な性能に収束したため、効果的な戦略の迅速な学習が示された。
• 進化した行動は、過学習により一般化に失敗した「スプリットドッグ」ベースラインを一貫して上回った。
• ヤギ数、速度、初期スポーン位置などのパラメータが変更された場合でも、アルゴリズムは高い性能を維持し、良好に一般化した。
• 人間には理解不能な形であったが、進化したプログラムは、協調的な群れの行動や戦略的配置といった、頑健で適応的な行動を示した。