[논문 리뷰] A Model for Foraging Ants, Controlled by Spiking Neural Networks and Double Pheromones

Cristian Jimenez-Romero, David Sousa-Rodrigues외 2명|arXiv (Cornell University)|2015. 07. 30.

Advanced Memory and Neural Computing참고 문헌 13인용 수 4

한 줄 요약

이 논문은 개별적인 의사결정을 위한 스파iking 신경망(SNNs)과 집단적 탐색을 위한 이중 페로몬 시스템(긍정적(식량 보상), 부정적(장애물 표시))을 사용하여 생물학적으로 유사한 군집 벌레의 번식 행동을 모델링한다. SNN은 유해 자극을 피하고 식량을 찾아 나서는 데 도움이 되며, 이중 페로몬 시스템은 스티그머지 커뮤니케이션을 통해 탐색 공간을 줄여 전통적인 개미 군집 최적화 방법보다 훨씬 높은 번식 효율성을 달성한다.

ABSTRACT

A model of an Ant System where ants are controlled by a spiking neural circuit and a second order pheromone mechanism in a foraging task is presented. A neural circuit is trained for individual ants and subsequently the ants are exposed to a virtual environment where a swarm of ants performed a resource foraging task. The model comprises an associative and unsupervised learning strategy for the neural circuit of the ant. The neural circuit adapts to the environment by means of classical conditioning. The initially unknown environment includes different types of stimuli representing food and obstacles which, when they come in direct contact with the ant, elicit a reflex response in the motor neural system of the ant: moving towards or away from the source of the stimulus. The ants are released on a landscape with multiple food sources where one ant alone would have difficulty harvesting the landscape to maximum efficiency. The introduction of a double pheromone mechanism yields better results than traditional ant colony optimization strategies. Traditional ant systems include mainly a positive reinforcement pheromone. This approach uses a second pheromone that acts as a marker for forbidden paths (negative feedback). This blockade is not permanent and is controlled by the evaporation rate of the pheromones. The combined action of both pheromones acts as a collective stigmergic memory of the swarm, which reduces the search space of the problem. This paper explores how the adaptation and learning abilities observed in biologically inspired cognitive architectures is synergistically enhanced by swarm optimization strategies. The model portraits two forms of artificial intelligent behaviour: at the individual level the spiking neural network is the main controller and at the collective level the pheromone distribution is a map towards the solution emerged by the colony.

연구 동기 및 목표

• 개별 신경 제어와 집단적 페로몬 기반 소통을 통합한 생물학적으로 타당한 번식 개미 모델을 개발하는 것.
• 스파킹 신경망이 환경 자극(식량 및 장애물)에 대해 자율적이고 적응적인 탐색을 가능하게 하는 방식을 입증하는 것.
• 양성 및 부정성 강화를 포함한 이중 페로몬 시스템이 집단적 번식 효율성에 미치는 영향을 탐구하는 것.
• SNN과 에이전트 기반 모델링을 융합한 간단하고 접근 가능한 교육용 도구를 만들기 위한 것.

제안 방법

• 각 개미는 고전적 조건화를 통해 감각 자극(식량 = 보상, 장애물 = 해로움)과 운동 반응(근접 또는 회피)을 연관시키도록 훈련된 스파킹 신경망에 의해 제어된다.
• 신경 회로는 이중층 구조를 사용한다: 감각 뉴런은 자극을 감지한다(녹색 = 식량, 흰색/빨간색 = 유해), 운동 뉴런은 학습된 연관성에 따라 운동을 유도한다.
• 이중 페로몬 메커니즘이 구현되어 있다: 긍정적 페로몬은 식량으로 향하는 생산적인 경로를 표시하고, 부정적 페로몬은 금지되거나 위험한 영역을 표시한다.
• 페로몬 증발 속도는 부정적 흔적의 일시성 특성을 제어하여 영구적 차단을 방지하고 동적 적응을 가능하게 한다.
• 모델은 NetLogo에 구현되어 연구자들이 가상의 2차원 환경에서 개미 행동, 신경 학습, 페로몬 역학을 시뮬레이션하고 시각화할 수 있도록 한다.
• 시스템은 스티그머지를 사용한다: 개미들은 직접적인 소통 대신 환경에 페로몬을 분비함으로써 간접적으로 협력한다.

실험 결과

연구 질문

• RQ1 스파킹 신경망이 동적인 환경에서 보상성 자극과 해로운 자극에 대해 개인적인 개미가 학습하고 적응적으로 반응할 수 있는가?
• RQ2 부정적 페로몬 메커니즘을 포함함으로써 전통적인 긍정성만 있는 페로몬 시스템과 비교해 번식 효율성이 어떻게 향상되는가?
• RQ3 개별 신경 학습과 집단적 페로몬 소통 간의 상호보완적 상호작용이 번식 과제에서 군집 문제 해결 능력에 얼마나 기여하는가?
• RQ4 간단하고 생물학적으로 영감을 받은 개미 행동 모델을 널리 사용되는 에이전트 기반 모델링 플랫폼인 NetLogo에서 효과적으로 구현하고 시각화할 수 있는가?

주요 결과

• 스파킹 신경망은 훈련 기간 동안 점점 더 길고 충돌하지 않는 궤적을 보이며, 흰색 및 빨간색 영역(해로운 자극)을 피하고 녹색 영역(식량)을 향해 접근하는 것을 입증하여, 개미가 학습을 성공적으로 수행했다.
• 이중 페로몬 시스템이 활성화된 상태에서 개미들은 식량 원천을 찾고 이용할 수 있도록 복잡하고 단조롭지 않은 궤적을 형성한 반면, 페로몬이 없는 조건에서는 그러한 행동을 보이지 않았다.
• 부정적 페로몬은 이전에 점령되지 않은 영역을 금지된 영역으로 표시함으로써 시간이 지남에 따라 효과적인 탐색 공간을 줄였으며, 이는 번식 효율성을 향상시켰다.
• 8,000회 반복 후 시스템은 식량 원천이 대부분 고갈된 것을 보여주어 자원을 효과적으로 집단적으로 이용했음을 입증했다.
• 식량 가용성 변화량(그림 9)은 페로몬 활성화 후 급격히 감소함을 보여, 번식 성능 향상이 확인되었다.
• 개별 학습과 이중 피드백 메커니즘의 융합을 통해 전통적인 개미 군집 최적화 전략을 능가하는 모델은 잠재적 집단 지능의 탄생을 입증했다.