[논문 리뷰] Increasing Behavioral Complexity for Evolved Virtual Creatures with the ESP Method

Dan Lessin, Don Fussell외 2명|arXiv (Cornell University)|2015. 10. 27.

Artificial Intelligence in Games참고 문헌 23인용 수 3

한 줄 요약

이 논문은 인간이 설계한 학습 과제의 서열, 스킬을 유지하기 위한 캡슐화, 그리고 판데모니엄 유사 메커니즘을 통해 경쟁하는 행동을 해결하는 방식을 사용하는 ESP라는 새로운 방법을 소개한다. 이 방법은 진화한 가상 생물체의 행동 복잡도를 이전 최고 성능의 약 두 배로 끌어올리며, 두 가지 버전으로 구성된다: 계산량이 선형적으로 증가하는 빠른 ESP와 자원이 허용될 경우 전체 형태적 적응이 가능한 일반적인 ESP이다.

ABSTRACT

Since their introduction in 1994 (Sims), evolved virtual creatures (EVCs) have employed the coevolution of morphology and control to produce high-impact work in multiple fields, including graphics, evolutionary computation, robotics, and artificial life. However, in contrast to fixed-morphology creatures, there has been no clear increase in the behavioral complexity of EVCs in those two decades. This paper describes a method for moving beyond this limit, making use of high-level human input in the form of a syllabus of intermediate learning tasks--along with mechanisms for preservation, reuse, and combination of previously learned tasks. This method--named ESP for its three components: encapsulation, syllabus, and pandemonium--is presented in two complementary versions: Fast ESP, which constrains later morphological changes to achieve linear growth in computation time as behavioral complexity is added, and General ESP, which allows this restriction to be removed when sufficient computational resources are available. Experiments demonstrate that the ESP method allows evolved virtual creatures to reach new levels of behavioral complexity in the co-evolution of morphology and control, approximately doubling the previous state of the art.

연구 동기 및 목표

• 지난 20년간 진화한 가상 생물체(EVCs)의 행동 복잡도가 대부분 단일 또는 소수의 구별 가능한 행동에 머물러 있는 데서 비롯된 정체성을 해결하기 위해.
• 형태와 제어가 동시에 진화하는 조건에서 점차 복잡한 다중 행동 레퍼토와를 갖춘 EVC의 진화를 가능하게 하기 위해.
• 계산 비용이 지수적으로 증가하지 않도록 하면서도 복잡한 행동의 확장 가능하고 개방형 개발을 지원하는 방법을 개발하기 위해.
• 이전에 학습한 스킬을 캡슐화를 통해 재사용하고 조합할 수 있도록 하여 진화 과정에서의 후행 호환성을 보장하기 위해.
• 구조화된 인간 주도 학습 진행 단계를 통해 rich하고 다양한 고성능 행동을 갖춘 가상 생물체의 진화 가능성을 탐색하기 위해.

제안 방법

• ESP 방법은 복잡한 행동을 더 작은 중간 학습 과제의 시퀀스로 분해하기 위해 인간이 설계한 서열을 사용한다.
• 각 학습된 하위스킬은 캡슐화되어 기능을 유지하고 후속 진화 과정에서 기능 저하를 방지하며, 모듈러한 재사용을 가능하게 한다.
• 다양한 행동 모듈이 '경쟁'하도록 하여 가장 적절한 행동을 선택하는 판데모니엄 유사 메커니즘이 경쟁하는 욕구나 행동 간 갈등을 해결한다.
• 빠른 ESP는 첫 번째 스킬을 학습한 후 형태적 변화에 제약을 두어 계산 시간이 추가 복잡도와 함께 선형적으로 증가하도록 보장한다.
• 일반적인 ESP는 각 새로운 스킬이 추가될 때마다 이전의 모든 스킬을 재검토하고 조율함으로써 형태적 제약을 제거하여 전체 형태적 적응을 가능하게 하며, 이는 높은 계산 비용을 수반한다.
• 캡슐화된 재사용 가능한 하위스킬 위에 새로운 스킬을 구축함으로써 시스템은 개방형 진화를 지원하며, 고차원적 행동 조합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 진화한 가상 생물체의 행동 복잡도를 이전 최고 성능 수준을 크게 초월할 수 있는가? 현재 대부분의 EVC가 단일 또는 소수의 구별 가능한 행동을 보이는 데 비해.
• RQ2 형태와 제어가 동시에 진화하는 조건에서 계산 비용이 지수적으로 증가하지 않도록 하면서도 복잡한 행동의 확장 가능하고 개방형 개발이 가능한가?
• RQ3 지속적인 형태적 변화를 겪는 진화하는 생물체에서 이전에 학습한 스킬을 어떻게 유지하고 재사용할 수 있는가?
• RQ4 인간이 설계한 학습 과제 서열이 가상 생물체의 점차 복잡해지는 다중 행동 레퍼토리의 진화를 얼마나 잘 이끌 수 있는가?
• RQ5 제약이 있는 형태적 적응과 제약이 없는 형태적 적응을 조합한 하이브리드 접근 방식이 EVC 진화에서 효율성과 고품질·다양한 솔루션을 동시에 달성할 수 있는가?

주요 결과

• ESP 방법은 진화한 가상 생물체의 행동 복잡도를 이전 최고 성능의 약 두 배로 성공적으로 끌어올렸다.
• 빠른 ESP는 행동 복잡도가 증가함에 따라 계산 시간이 선형적으로 증가함으로써 확장 가능한 진화를 달성했다.
• 일반적인 ESP는 전체 형태적 적응을 허용함으로써 더 넓은 솔루션 다양성과 더 높은 적합도를 보였으며, 이는 높은 계산 비용을 수반했다.
• 캡슐화는 진화 세대 간에 학습된 하위스킬을 효과적으로 유지하여 고차원적 행동에서 신뢰할 수 있는 재사용과 조합을 가능하게 했다.
• 판데모니엄 메커니즘은 경쟁하는 행동 간의 갈등을 성공적으로 해결하여 생물체가 맥락에 따라 적절한 행동을 동적으로 선택할 수 있도록 했다.
• 실험 결과, 이 방법이 복잡하고 다중 행동 레퍼토리를 갖춘 개방형 개발을 지원함을 확인했으며, 싸움-도망 행동이나 뒤집힘 복구와 같은 고급 행동도 포함되었다.