[論文レビュー] Increasing Behavioral Complexity for Evolved Virtual Creatures with the ESP Method

Dan Lessin, Don Fussell+2 more|arXiv (Cornell University)|Oct 27, 2015

Artificial Intelligence in Games参考文献 23被引用数 3

ひとこと要約

この論文は、人間が設計した学習タスクのシラバス、スキルの保持のためのカプセル化、およびパンデモニウムにインspiredされたメカニズムを用いて、進化的に進化する仮想生物の行動の複雑さを向上させる新規手法ESPを紹介する。この手法により、行動の複雑さが従来の最先端水準の約2倍にまで向上し、計算コストの線形的増加を実現するFast ESPと、リソースが許す場合に全形態的適応を可能にするGeneral ESPの2つのバージョンが存在する。

ABSTRACT

Since their introduction in 1994 (Sims), evolved virtual creatures (EVCs) have employed the coevolution of morphology and control to produce high-impact work in multiple fields, including graphics, evolutionary computation, robotics, and artificial life. However, in contrast to fixed-morphology creatures, there has been no clear increase in the behavioral complexity of EVCs in those two decades. This paper describes a method for moving beyond this limit, making use of high-level human input in the form of a syllabus of intermediate learning tasks--along with mechanisms for preservation, reuse, and combination of previously learned tasks. This method--named ESP for its three components: encapsulation, syllabus, and pandemonium--is presented in two complementary versions: Fast ESP, which constrains later morphological changes to achieve linear growth in computation time as behavioral complexity is added, and General ESP, which allows this restriction to be removed when sufficient computational resources are available. Experiments demonstrate that the ESP method allows evolved virtual creatures to reach new levels of behavioral complexity in the co-evolution of morphology and control, approximately doubling the previous state of the art.

研究の動機と目的

• 過去20年間、進化的に進化する仮想生物（EVCs）の行動の複雑さに停滞が見られ、多くの場合、1つまたは数個の区別可能な行動に限定されていることに対処すること。
• 形態と制御が同時に進化する中で、ますます複雑な多様な行動レパートリーを進化させること。
• 計算コストが指数関数的に増加することなく、複雑な行動のスケーラブルでオープンエンドドな開発を可能にする方法を開発すること。
• カプセル化により、以前に学習したスキルの再利用と組み合わせを可能にし、進化の過程で後方互換性を保証すること。
• 構造的で人間がガイドする学習の進行を用いて、豊富で多様かつ高適応度の行動を仮想生物が進化させることの可能性を検討すること。

提案手法

• ESP手法は、複雑な行動を段階的な小さな中間的学習タスクに分解する人間が設計したシラバスを用いる。
• 各学習済みのサブスキルはカプセル化され、機能の保持と後続の進化における劣化の防止が行われ、モジュラーな再利用が可能になる。
• 複数の行動モジュールが「競争」し、最も適切な行動を選択することで、競合する欲求や行動の衝突を解決するパンデモニウムにインspiredされたメカニズムを採用する。
• Fast ESPは、最初のスキルが学習された後、形態的変化に制約を課すことにより、追加の複雑さに伴い計算時間の線形的増加を保証する。
• General ESPは、各新しいスキルを追加する度に、以前のすべてのスキルを再テスト・統合することで形態的制約を解除し、計算コストは高くなるが、完全な形態的適応を可能にする。
• 新しいスキルがカプセル化され再利用可能なサブスキルの上に構築可能であるため、システムはオープンエンドドな進化をサポートし、階層的な行動構成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 進化的に進化する仮想生物の行動の複雑さは、現在の最先端水準（多くのEVCsが1つまたは数個の区別可能な行動しか示さない）を著しく超えるように向上させられるか？
• RQ2 形態と制御が同時に進化する仮想生物において、計算コストが指数関数的に増加することなく、スケーラブルでオープンエンドドな複雑な行動の開発が可能か？
• RQ3 継続的な形態的変化を経る進化する生物において、以前に学習したスキルをどのように保持・再利用できるか？
• RQ4 人間が設計した学習タスクのシラバスが、仮想生物におけるますます複雑で多様な行動レパートリーの進化をどれほど効果的に導けるか？
• RQ5 制限付きと制限なしの形態的適応を組み合わせたハイブリッドアプローチにより、効率性と高品質で多様な解決策の両方を達成できるか？

主な発見

• ESP手法は、進化的に進化する仮想生物の行動の複雑さを、従来の最先端水準の約2倍にまで向上させることに成功した。
• Fast ESPは、行動の複雑さが増加するに従い計算時間の線形的増加にとどめ、スケーラブルな進化を実現した。
• General ESPは、全形態的適応を可能にしたことで、より多様な解決策と高い適応度を示したが、計算コストは高かった。
• カプセル化は、進化の世代にわたって学習済みのサブスキルを効果的に保持し、上位レベルの行動における信頼性の高い再利用と組み合わせを可能にした。
• パンデモニウム機構は、競合する行動間の衝突を効果的に解消し、状況に応じた適切な行動の動的選択を可能にした。
• 実験により、本手法が複雑で多様な行動レパートリーのオープンエンドドな発展をサポートすることが確認された。これには、戦うか逃げるかの行動や、つま先からの回復行動といった高度な行動も含まれる。