[논문 리뷰] Evolving Shepherding Behavior with Genetic Programming Algorithms

Joshua Brulé, Kevin C. Engel외 2명|arXiv (Cornell University)|2016. 03. 19.

Evolutionary Algorithms and Applications참고 문헌 4인용 수 6

한 줄 요약

이 논문은 유전자 프로그래밍을 사용하여 시뮬레이션된 양과 개의 떼를 이끄는 행동을 진화시키는 방법을 제안한다. 표현식 트리는 양의 위치와 무리 중심과 같은 환경적 특징에 기반해 개의 움직임을 제어한다. 진화된 알고리즘은 인간이 설계한 전략을 능가하며 다양한 조건에서 잘 일반화되어, 양을 포획하는 데 최대 78%의 성공률을 기록한다.

ABSTRACT

We apply genetic programming techniques to the `shepherding' problem, in which a group of one type of animal (sheep dogs) attempts to control the movements of a second group of animals (sheep) obeying flocking behavior. Our genetic programming algorithm evolves an expression tree that governs the movements of each dog. The operands of the tree are hand-selected features of the simulation environment that may allow the dogs to herd the sheep effectively. The algorithm uses tournament-style selection, crossover reproduction, and a point mutation. We find that the evolved solutions generalize well and outperform a (naive) human-designed algorithm.

연구 동기 및 목표

• 사전 정의된 전략이나 예측 모델이 없는 학습 기반의 떼를 이끄는 방법 개발.
• 동적인 무리 행동에 적응하는 데 유전자 프로그래밍을 사용해 개의 행동을 진화시키기.
• 환경 조건이 변화하는 상황에서 진화된 행동의 일반화 능력과 내성적 특성 평가.
• 성능와 적응 능력 측면에서 진화된 솔루션과 인간이 설계한 히우리스틱 전략 간 비교.

제안 방법

• 유전자 프로그래밍은 각 시점에서 개의 힘 갱신을 나타내는 표현식 트리를 진화시킨다.
• 트리의 운영자로는 개의 위치, 가장 가까운 자유로운 양, 무리 중심 질량, 그리고 조향 지점이 포함된다.
• 적합도는 500단계의 시뮬레이션 동안 포획된 양의 비율로 측정된다.
• 선택은 토너먼트 선택을 사용하며, 재생에는 교차 및 점변이가 사용된다.
• 시뮬레이션은 양에게 고정된 무리 행동 규칙(정렬, 분리, 장애물 회피)을 사용한다.
• 개는 필드 경계에 제약을 받으며 울타리를 뚫고 들어갈 수 없다.

실험 결과

연구 질문

• RQ1 유전자 프로그래밍은 인간이 설계한 히우리스틱이나 예측 모델 없이 효과적인 떼를 이끄는 전략을 진화시킬 수 있는가?
• RQ2 다른 초기 조건과 환경 매개변수에서 진화된 행동은 얼마나 잘 일반화되는가?
• RQ3 다수의 개를 사용한 협동적 떼를 이끄는 방식이 단일 개 전략보다 성능을 향상시키는가?
• RQ4 진화된 행동은 인간이 작성한 기준 알고리즘과 정량적으로 어떻게 비교되는가?
• RQ5 훈련 기간이 진화된 솔루션의 내성적 특성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 220세대 후에 진화된 단일 개 알고리즘이 평균 적합도 0.743 ± 0.003을 기록하여 인간이 설계한 'simple-dog' 알고리즘을 능가했다.
• 세 마리 개의 협동 알고리즘은 적합도 0.780 ± 0.003을 기록하여 단일 개 솔루션을 약간 뛰어넘었다.
• 적합도는 50세대 내에 거의 완벽한 성능에 수렴하여 효과적인 전략을 신속하게 학습함을 시사했다.
• 진화된 행동은 과적합되어 일반화에 실패한 'split-dog' 기준보다 일관되게 뛰어났다.
• 양의 수, 속도, 초기 스폰 위치와 같은 매개변수를 변경해도 높은 성능를 유지하며 잘 일반화되었다.
• 인간이 이해하기 어려운 진화된 프로그램이었지만, 조율된 떼를 이끄는 행동과 전략적 위치 선정을 포함해 강력하고 적응력 있는 행동을 보였다.