[논문 리뷰] The Effect of Social Learning on Individual Learning and Evolution

Chris Marriott, Jobran Chebib|arXiv (Cornell University)|2014. 06. 10.

Evolutionary Game Theory and Cooperation참고 문헌 12인용 수 10

한 줄 요약

이 연구는 자원 확보 작업에서 유전적, 개인적, 사회적 학습 능력을 갖춘 인공 에이전트 집단을 모델링한다. 사회적 학습이 기억적 진화를 유전적 진화에서 분리시켜, 젊은 에이전트는 학습을 우선시하고 노령한 에이전트는 학습을 최소화하도록 하여 게놈과 멤오믹스 사이의 이질적인 진화적 압력을 초래함을 보여준다.

ABSTRACT

We consider the effects of social learning on the individual learning and genetic evolution of a colony of artificial agents capable of genetic, individual and social modes of adaptation. We confirm that there is strong selection pressure to acquire traits of individual learning and social learning when these are adaptive traits. We show that selection pressure for learning of either kind can supress selection pressure for reproduction or greater fitness. We show that social learning differs from individual learning in that it can support a second evolutionary system that is decoupled from the biological evolutionary system. This decoupling leads to an emergent interaction where immature agents are more likely to engage in learning activities than mature agents.

연구 동기 및 목표

• 인공 에이전트에서 유전적 적응, 개인적 학습, 사회적 학습의 공진화를 조사하기 위해.
• 학습 메커니즘이 생식 및 적합도에 대한 선택 압력과 어떻게 상호작용하고 변화시키는지 검토하기 위해.
• 사회적 학습이 기억적(문화적) 진화를 유전적 진화에서 분리시키는지 탐구하기 위해.
• 학습 능력이 있는 집단에서 젊은 에이전트와 성숙한 에이전트 사이의 이질적인 진화적 압력을 분석하기 위해.
• 학습 메커니즘이 진화 시스템에서 선택 보호와 선택 강화의 역학에 어떻게 영향을 미치는지 규명하기 위해.

제안 방법

• 에이전트는 유전자가 정적이고 유전 가능한 게놈과, 동적으로 학습 가능한 멤오믹스를 갖추며, 둘 다 하루 행동을 인코딩하는 50개의 유전자복합체로 표현된다.
• 각 유전자복합체는 수확, 개인적 학습, 사회적 학습, 생식을 포함한 행동를 지정하며, 각각 1단위 시간을 소비한다.
• 자원 현장은 {1,2,3,4,5}의 부분집합으로 정의되며, 1~3개의 자원을 포함한다; 에이전트는 비용을 최소화하기 위해 점검 순서를 순열해야 한다.
• 수확 비용은 모든 자원을 찾기까지의 점검 횟수이며, 최적 비용은 보상과 동일하고, 최대 비용은 5이다.
• 에이전트는 하루에 50단위 시간을 수확, 학습 또는 생식에 소비하며, 총 일일 보상에 따라 적합도가 결정된다.
• 사회적 학습은 공동체에서 가장 흔하거나 효과적인 멤오믹스를 수용할 수 있게 하여, 게놈과는 독립된 기억적 진화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 개인적 학습과 사회적 학습은 인공 에이전트에서 유전적 생식 및 적합도에 대한 선택 압력에 어떻게 영향을 미치는가?
• RQ2 사회적 학습은 어느 정도로 기억적 진화를 유전적 진화에서 분리시키는가?
• RQ3 왜 젊은 에이전트는 성숙한 에이전트보다 학습 행동에 대해 더 강한 선택을 보이는가?
• RQ4 학습 메커니즘의 존재는 적합도 지형과 선택 역학의 형태를 어떻게 변화시키는가?
• RQ5 학습 능력이 있는 에이전트의 연령 집단 간에 학습과 생식에서 나타나는 타당한 행동 패턴은 무엇인가?

주요 결과

• 사회적 학습은 기억적(기억 기반) 진화를 유전적 진화에서 분리시켜 멤오믹스가 게놈과는 별개로 진화할 수 있도록 한다.
• 젊은 에이전트는 낮은 초기 적합도로 인해 사회적 학습과 개인적 학습에 대해 강한 선택을 보이며, 노령한 에이전트는 수확을 우선시하기 위해 학습에 대한 선택을 줄인다.
• 학습 능력이 있는 에이전트, 특히 사회적 학습자에서는 생식 행동에 대한 선택 압력이 크게 약화되며, 이는 '선택 보호'로 인한 것이다.
• 멤오믹스는 중복된 학습 및 생식 행동을 제거하도록 진화하는 반면, 게놈은 계속해서 이러한 행동을 선택함으로써 이질적인 진화적 궤적을 보여준다.
• 사회적 학습자는 게놈과 멤오믹스 행동 사이에서 가장 뚜렷한 분리를 보이며, 젊은 에이전트는 학습을 우선시하고 노령한 에이전트는 이를 최소화한다.
• 모델는 개인적 학습자에서 발디안 효과를 드러내며, 사회적 학습자에서는 초기 성능 최적화와 기억 유전으로 인해 새로운 형태의 선택 강화를 발견한다.