[논문 리뷰] Markov Brains: A Technical Introduction

Arend Hintze, Jeffrey A. Edlund외 10명|arXiv (Cornell University)|2017. 09. 17.

Evolutionary Algorithms and Applications참고 문헌 22인용 수 28

한 줄 요약

이 논문은 상태 버퍼와 병렬으로 작동하는 계산 구성 요소(신경세포에 유사한 것)를 사용하여 입력을 처리하고 내부 상태를 합산을 통해 업데이트하며 운동 출력을 생성하는 진화 가능한 인공신경망인 마르코프 뇌(Markov Brains, MBs)을 소개한다. 전통적인 인공신경망(ANNs)과 달리, MBs는 유전적 또는 직접 인코딩을 통해 진화하여 몸체가 있는 에이전트와 학습, 군집 행동과 같은 복잡한 행동을 최적화한 유연한 비층화 구조를 가진다.

ABSTRACT

Markov Brains are a class of evolvable artificial neural networks (ANN). They differ from conventional ANNs in many aspects, but the key difference is that instead of a layered architecture, with each node performing the same function, Markov Brains are networks built from individual computational components. These computational components interact with each other, receive inputs from sensors, and control motor outputs. The function of the computational components, their connections to each other, as well as connections to sensors and motors are all subject to evolutionary optimization. Here we describe in detail how a Markov Brain works, what techniques can be used to study them, and how they can be evolved.

연구 동기 및 목표

• 모듈형이고 진화 가능한 계산 구성 요소를 사용하는 새로운 종류의 인공신경망인 마르코프 뇌(Markov Brains)를 제안하여 기존의 층형 구조를 가진 전통적 ANNs와 근본적으로 다름을 보이게 한다.
• 유전적 또는 직접 인코딩 메커니즘을 통해 네트워크의 구조, 기능 및 연결성을 진화적으로 최적화할 수 있도록 한다.
• 확장 가능한 프레임워크 설계를 통해 인공 에이전트에서 학습, 군집 행동, 사회적 계급 형성과 같은 복잡한 행동을 지원한다.
• MABE 프레임워크를 통해 플랫폼 독립성과 코드 재사용성을 촉진하여 진화 실험의 일반성과 확장성을 보장한다.

제안 방법

• 각 요소가 입력, 히든 또는 출력 상태를 저장하는 노드를 나타내는 상태 버퍼(상태 벡터)를 사용하여 마르코프 뇌(MBs)를 모델링한다.
• 상태 버퍼의 부분 집합을 읽고 쓰는 계산 구성 요소(논리 게이트)를 병렬로 업데이트하며, 신호는 합산을 통해 통합된다.
• 시작 코돈을 사용하여 MBs를 유전적으로 인코딩하여 기능과 연결성의 진화적 변화를 가능하게 한다.
• 직접 인코딩을 지원하며, 진화 규칙에 따라 네트워크의 재연결, 기능 변경, 구성 요소의 추가/제거를 통해 진화가 이루어지도록 한다.
• MABE 프레임워크를 사용하여 모듈성, 기초 구조 독립성, 실험 간 및 연구자 간 상호운용성을 보장한다.
• 피드백 게이트와 학습 메커니즘을 통합하여 개별 에이전트 수명 주기 내에서 환경에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 진화적 최적화를 통해 네트워크의 구조와 기능을 동시에 최적화할 수 있는 비층화 구조를 가진 인공신경망을 설계할 수 있는가?
• RQ2 복잡한 에이전트 행동을 위해 마르코프 뇌 네트워크를 진화시킬 때, 유전적 인코딩과 직접 인코딩의 장점은 무엇인가?
• RQ3 마르코프 뇌는 진화 과정을 통해 몸체가 있는 에이전트에서 사회적 계급 형성, 군집 행동, 적응형 학습을 진화시킬 수 있는가?
• RQ4 모듈형이고 플랫폼 독립적인 프레임워크인 MABE는 진화 계산 연구에서 재현 가능성, 재사용성, 일반성 향상에 어떻게 기여하는가?
• RQ5 기존의 신경망 모델과 비교해 병렬 계산과 신호 합산은 마르코프 뇌에서 복잡한 동역학을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 시작 코돈을 사용한 마르코프 뇌의 유전적 인코딩은 초기 단순성에도 불구하고 직접 인코딩보다 더 빠르게 진화하고 평균적으로 더 높은 적합도를 달성했다.
• 임계값 게이트와 타이머 게이트의 추가로 디지털 에이전트에서 사회적 계급 형성이 진화하여 복잡한 잠재 행동을 입증했다.
• MABE 프레임워크는 모듈형, 재사용 가능하고 상호운용 가능한 실험을 가능하게 하여 학습, 군집 행동, 사회적 역학을 포함한 다양한 진화 연구를 지원했다.
• 피드백 게이트는 에이전트가 수명 주기 내에서 환경에 적응할 수 있도록 성공적으로 구현되어 마르코프 뇌에서 학습의 가능성을 입증했다.
• Randal Olson이 개발한 확장 기능을 통해 MABE는 떼로 이루어진 무리와 천적-피식자 동역학의 진화를 지원하여 복잡한 집단 행동을 가능하게 했다.
• 마르코프 뇌의 파이썬 구현체(https://github.com/rhiever/MarkovNetwork)와 EALib 통합을 통해 수천 개의 상태와 다양한 유형의 게이트를 가진 대규모 실험을 수행할 수 있었다.