[논문 리뷰] Ideal Free Distribution in Agents with Evolved Neural Architectures

Virgil Griffith, Larry Yaeger|arXiv (Cornell University)|2011. 12. 15.

Evolutionary Game Theory and Cooperation참고 문헌 22인용 수 6

한 줄 요약

이 논문은 신경망 구조가 진화한 에이전트가 명시적인 사냥 또는 군집화 프로그래밍 없이도 이질적인 환경에서 자원 사용의 이상 자유 분포(ideal free distribution, IFD)를 자연스럽게 달성함을 보여준다. 자원 가용성에 비례하여 에이전트가 분포하는 IFD의 출현은 생태적 압력 하에서 신경진화 과정을 통해 발생하며, 생물학적으로 타당한 자기조율 신경 제어 시스템을 통해 최적의 사냥 전략이 진화할 수 있음을 시사한다.

ABSTRACT

We investigate the matching of agents to resources in a computational ecology configured to present heterogeneous resource patches to evolving, neurally controlled agents. We repeatedly find a nearly optimal, ideal free distribution (IFD) of agents to resources. Deviations from IFD are shown to be consistent with models of human foraging behaviors, and possibly driven by spatial constraints and maximum foraging rates. The lack of any model parameters addressing agent foraging or clustering behaviors and the biological verisimilitude of our agent control systems differentiates these results from simpler models and suggests the possibility of exploring the underlying mechanisms by which optimal foraging emerges.

연구 동기 및 목표

• 신경망으로 제어되는 에이전트가 이질적인 자원 환경에서 이상 자유 분포(ideal free distribution, IFD)를 달성할 수 있는지 조사하는 것.
• IFD가 사냥 또는 군집화 행동을 명시적으로 모델링하지 않은 상황에서도 출현하는지 여부를 규명하는 것.
• 진화한 신경망 구조가 최적의 사냥 전략을 생성하는 데 있어 생물학적 타당성은 무엇인지 탐구하는 것.
• IFD에서의 이탈 현상과 그 원인이 공간 제약 조건 및 최대 사냥 속도와 어떻게 관련되어 있는지 분석하는 것.

제안 방법

• 유전 알고리즘을 사용하여 피드포워드 신경망을 갖춘 에이전트를 이질적인 자원 패치가 존재하는 시뮬레이션 생태 환경에서 진화시켰다.
• 자원 패치의 품질과 공간 분포가 다양하여 효율적인 사냥을 위한 생태적 압력이 발생하도록 하였다.
• 에이전트의 생존도를 자원 섭취량 기반으로 최적화하여 다수의 세대에 걸쳐 신경망 가중치를 조정하였다.
• 진화 후 패치 간 에이전트 분포를 분석하여 이상 자유 분포(IFD) 모델 준수 여부를 평가하였다.
• IFD에서의 이탈 현상을 정량화하고 공간 제약 조건 및 최대 사냥 속도와의 상관관계를 분석하였다.
• 진화한 에이전트 행동을 인간의 사냥 모델과 비교하여 행동 일관성 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 신경망으로 제어되는 에이전트가 이질적인 환경에서 자원 사용의 이상 자유 분포(ideal free distribution, IFD)를 달성할 수 있는가?
• RQ2 에이전트 아키텍처에 사냥 또는 군집화 행동을 명시적으로 모델링하지 않은 상황에서 IFD가 어느 정도 출현하는가?
• RQ3 진화한 에이전트에서 IFD에서의 이탈 현상은 무엇이 원인인지, 생태적 제약 조건과 어떻게 관련되어 있는가?
• RQ4 진화한 신경망 아키텍처는 인간의 사냥 행동과 비교해 볼 때 분포 패턴에서 어떻게 유사하거나 다를까?
• RQ5 IFD의 출현은 최적의 사냥 전략을 뒷받침하는 진화적 메커니즘에 대해 무엇을 시사하는가?

주요 결과

• 에이전트들은 사냥 또는 군집화를 위한 명시적 프로그래밍 없이도 이질적인 패치에서 거의 최적의 이상 자유 분포(IFD)를 지속적으로 달성하였다.
• IFD에서의 이탈 현상이 관찰되었으며, 이는 공간 제약 조건 및 최대 사냥 속도 제한 조건 하에서 인간의 사냥 모델과 일치하는 경향을 보였다.
• 에이전트의 사냥 또는 집단 행동을 명시적으로 모델링하는 파rameter가 전혀 존재하지 않는 상황에서도 IFD가 출현하였다.
• 에이전트를 제어하는 신경망 아키텍처는 생물학적으로 유사한 특성을 보였으며, 최적의 사냥 전략이 진화할 수 있는 타당한 생물학적 경로를 시사하였다.
• 결과적으로 최적의 사냥 전략은 사냥 행동을 직접 최적화하지 않더라도 생태적 환경에서 신경진화를 통해 유도될 수 있음을 시사한다.
• 이 연구는 복잡한 사냥 행동이 선택 압력 아래에서 자기조율 신경 시스템에 의해 유도될 수 있음을 증거로 제시한다.