[논문 리뷰] Development and Evolution of Neural Networks in an Artificial Chemistry

Jens C. Astor, Christoph Adami|arXiv (Cornell University)|1998. 07. 17.

Evolutionary Algorithms and Applications참고 문헌 8인용 수 6

한 줄 요약

이 논문은 유전 지침과 국소적 기질 역학에 기반해 신경세포가 자율적으로 성장하고 분화하는 인공화학 프레임워크를 사용하여 분산형이며 발달적으로 유도된 인공 신경망(ANN) 모델을 제시한다. 저자들은 웹 기반의 분산 유전 알고리즘을 통해 기능적인 네트워크—특히 고전적 조건화를 수행하는 네트워크—의 탄생을 입증하며, 합성 신경 시스템에서의 자율 조직화와 진화 가능성의 가능성을 보여준다.

ABSTRACT

We present a model of decentralized growth for Artificial Neural Networks (ANNs) inspired by the development and the physiology of real nervous systems. In this model, each individual artificial neuron is an autonomous unit whose behavior is determined only by the genetic information it harbors and local concentrations of substrates modeled by a simple artificial chemistry. Gene expression is manifested as axon and dendrite growth, cell division and differentiation, substrate production and cell stimulation. We demonstrate the model's power with a hand-written genome that leads to the growth of a simple network which performs classical conditioning. To evolve more complex structures, we implemented a platform-independent, asynchronous, distributed Genetic Algorithm (GA) that allows users to participate in evolutionary experiments via the World Wide Web.

연구 동기 및 목표

• 생물학적 신경계를 모델로 삼아 분산형이며 발달적으로 유도된 인공 신경망의 성장을 모델링하는 것.
• 유전 정보와 국소적 화학적 상호작용이 어떻게 기능적인 신경 구조의 자율 조직화를 이끌 수 있는지 탐구하는 것.
• 플랫폼에 종속되지 않은 웹 기반 분산 유전 알고리즘을 통해 신경망 아키텍처의 진화적 탐색을 가능하게 하는 것.
• 간단한 발달 규칙과 게놈에 의해 인코딩된 지침만으로도 복잡하고 기능적인 신경망이 어떻게 탄생할 수 있는지 보여주는 것.

제안 방법

• 각 인공 뉴런은 축삭/수상돌기 성장, 세포 분열, 분화, 기질 생산에 대한 유전자 발현 규칙을 인코딩한 게놈에 의해 지배되는 자율 에이전트이다.
• 뉴런의 행동은 정의된 반응 동역학을 갖는 최소한의 인공화학 시스템을 통해 모델링된 국소 기질 농도에 의해 조절된다.
• 유전자 발현은 동적 과정으로 구현되며, 축삭 연장, 수상돌기 형성, 세포 분열, 기질 농도에 따른 자극 기반 행동을 포함한다.
• 사용자가 게놈을 제출하고 평가하는 방식으로 웹 전반에 퍼진 비동기적 유전 알고리즘이 실행되어 진화 실험에 기여할 수 있다.
• 시스템은 고전적 조건화를 수행할 수 있는 단순한 신경망을 개발할 수 있도록 수작업으로 작성된 게놈을 사용한다.
• 진화는 네트워크가 사전 정의된 과제에서의 성능에 기반한 적합도 평가를 통해 이루어지며, 세대에 걸쳐 게놈에 대해 선택 및 돌연변이가 적용된다.

실험 결과

연구 질문

• RQ1 인공 신경망이 분산형이며 발달적으로 유도된 과정을 통해 기능적인 아키텍처로 자율 조직화될 수 있는가?
• RQ2 인공화학에서의 유전 정보와 국소적 화학적 상호작용은 어떻게 복잡한 신경 구조의 탄생을 이끌 수 있는가?
• RQ3 분산형 웹 기반 유전 알고리즘이 효과적으로 기능적인 신경망을 진화시키는 데 얼마나 잘 작동하는가?
• RQ4 간단한 수작업 유전자 게놈이 고전적 조건화를 수행할 수 있는 네트워크의 개발로 이어질 수 있는가?
• RQ5 분산형이며 국소적 조절이 복잡하고 내성적인 신경망 개발을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 단순한 국소 규칙과 인공화학 역학만으로도 수작업 유전자 게놈을 사용해 고전적 조건화를 수행할 수 있는 기능적인 신경망이 탄생했다.
• 시스템은 유전 지침에 의해 안내되는 자율적이고 분산된 성장 과정을 통해 신경 구조의 자율 조직화를 성공적으로 보여주었다.
• 분산 유전 알고리즘은 신경망 개발에 대한 확장 가능하고 플랫폼에 종속되지 않는 진화 실험을 가능하게 했다.
• 진화적 탐색은 세대에 걸쳐 점차 복잡하고 기능적인 신경 아키텍처를 성공적으로 생성했다.
• 모델은 복잡한 신경 기능이 중심 제어 없이도 단순한 발달 규칙과 국소 상호작용만으로도 탄생할 수 있음을 보여주었다.
• 인공화학과 신경 발달 및 진화의 통합은 합성 시스템에서의 탄생 계산을 연구하는 데 있어 견고한 프레임워크를 제공했다.