[論文レビュー] A Model for Foraging Ants, Controlled by Spiking Neural Networks and Double Pheromones

Cristian Jimenez-Romero, David Sousa-Rodrigues+2 more|arXiv (Cornell University)|Jul 30, 2015

Advanced Memory and Neural Computing参考文献 13被引用数 4

ひとこと要約

本稿では、個々の意思決定にスパイクニューラルネットワーク（SNN）を用い、集団的ナビゲーションにポジティブ（食物報酬）およびネガティブ（障害物マーク）の二重フェロモン系を採用した、採餌アリを模倣したモデルを提示する。SNNによりアリは有害な刺激を避ける学習が可能となり、食物を求める行動が可能となる。二重フェロモン系は、スタイグメルギー的通信により探索空間を縮小し、従来のアンチコロニー最適化（ACO）手法と比較して、著しく採餌効率を向上させる。

ABSTRACT

A model of an Ant System where ants are controlled by a spiking neural circuit and a second order pheromone mechanism in a foraging task is presented. A neural circuit is trained for individual ants and subsequently the ants are exposed to a virtual environment where a swarm of ants performed a resource foraging task. The model comprises an associative and unsupervised learning strategy for the neural circuit of the ant. The neural circuit adapts to the environment by means of classical conditioning. The initially unknown environment includes different types of stimuli representing food and obstacles which, when they come in direct contact with the ant, elicit a reflex response in the motor neural system of the ant: moving towards or away from the source of the stimulus. The ants are released on a landscape with multiple food sources where one ant alone would have difficulty harvesting the landscape to maximum efficiency. The introduction of a double pheromone mechanism yields better results than traditional ant colony optimization strategies. Traditional ant systems include mainly a positive reinforcement pheromone. This approach uses a second pheromone that acts as a marker for forbidden paths (negative feedback). This blockade is not permanent and is controlled by the evaporation rate of the pheromones. The combined action of both pheromones acts as a collective stigmergic memory of the swarm, which reduces the search space of the problem. This paper explores how the adaptation and learning abilities observed in biologically inspired cognitive architectures is synergistically enhanced by swarm optimization strategies. The model portraits two forms of artificial intelligent behaviour: at the individual level the spiking neural network is the main controller and at the collective level the pheromone distribution is a map towards the solution emerged by the colony.

研究の動機と目的

• 個々の神経制御とフェロモンに基づく集団的通信を統合した、生物学的に妥当な採餌アリのモデルの構築を目的とする。
• スパイクニューラルネットワークが、環境的刺激（食物および障害物）に応じて自律的かつ適応的ナビゲーションを可能にする仕組みを示すこと。
• ポジティブおよびネガティブフィードバックから成る二重フェロモン系が、集団的採餌効率に与える影響を調査すること。
• SNNとエージェントベースモデリングを統合した、複雑系研究に適した、アクセス可能で教育的効果の高いツールの開発を目的とする。

提案手法

• 各アリは、古典的条件付けにより、感覚刺激（食物＝報酬、障害物＝害）と運動反応（接近または回避）の関連を学習するスパイクニューラルネットワークで制御される。
• 神経回路は二層構造を採用：感覚ニューロンが刺激（緑＝食物、白／赤＝有害）を検出し、学習された関連に基づいて運動ニューロンが移動を駆動する。
• 二重フェロモン機構を実装：ポジティブフェロモンは食物への生産的経路をマークし、ネガティブフェロモンは禁止または危険な領域をマークする。
• フェロモンの蒸発率がネガティブな痕跡の一時的性質を制御し、恒久的ブロックを防ぎ、動的適応を可能にする。
• モデルはNetLogoで実装され、研究者が仮想2次元環境内でのアリ行動、神経学習、フェロモンダイナミクスをシミュレートおよび可視化できる。
• システムはスタイグメルギーを用いる：直接的な通信ではなく、フェロモンの環境への蓄積を通じて、アリが間接的に協調する。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークは、動的な環境において報酬と有害な刺激に適応的に反応する個々のアリの学習を可能にするか？
• RQ2 ネガティブフェロモン機構を含めることで、従来のポジティブのみのフェロモン系と比較して、採餌効率はどのように向上するか？
• RQ3 個々の神経学習と集団的フェロモン通信の相乗効果は、採餌タスクにおけるスワーム問題解決能力をどの程度向上させるか？
• RQ4 シンプルで生物学的にインspiredなアリ行動モデルは、NetLogoのような広く使われるエージェントベースモデリングプラットフォームで効果的に実装および可視化可能か？

主な発見

• スパイクニューロンネットワークにより、アリは白および赤のパッチ（有害な刺激）を避ける学習が成功し、グリーンパッチ（食物）に接近する行動が示された。トレーニング中、徐々に長く、衝突のない軌道が得られた。
• 二重フェロモン系が有効な状態では、アリは単調でない複雑な軌道を描き、食物源を特定・活用することができた。これはフェロモンなし条件とは対照的であった。
• ネガティブフェロモンは、未利用領域を「禁止」としてマークすることで、時間とともに有効な探索空間を縮小し、採餌効率を向上させた。
• 8,000イテレーション後、食物源は大部分が枯渇しており、リソースの効果的集団的活用が示された。
• 利用可能な食物量の時間的推移（図9）は、フェロモン活性化後に急激に減少しており、改善された採餌パフォーマンスが確認された。
• 個々の学習と二重フィードバックメカニズムを統合した本モデルは、従来のアンチコロニー最適化戦略を上回り、エメrgentな集団知能を示した。