[논문 리뷰] Learning Dynamics and the Co-Evolution of Competing Sexual Species

Georgios Piliouras, Leonard J. Schulman|arXiv (Cornell University)|2017. 11. 18.

Evolutionary Game Theory and Cooperation참고 문헌 41인용 수 4

한 줄 요약

이 논문은 유전적 특성의 부울 함수에 따라 적합도가 결정되는 0-합 경쟁에서 두 유성 생물 종 간의 공진화를 게임 이론 모델로 제안한다. 복제기법 동역학을 사용하여, 시스템이 돌연변이나 환경 변화 없이도 유전자 단일종이 되는 것을 방지하는 강건하고 유한한 주기적 순환을 나타냄을 보여주며, 자연 선택만으로도 지속적인 유전자 다양성을 설명한다.

ABSTRACT

We analyze a stylized model of co-evolution between any two purely competing species (e.g., host and parasite), both sexually reproducing. Similarly to a recent model of Livnat \etal~\cite{evolfocs14} the fitness of an individual depends on whether the truth assignments on $n$ variables that reproduce through recombination satisfy a particular Boolean function. Whereas in the original model a satisfying assignment always confers a small evolutionary advantage, in our model the two species are in an evolutionary race with the parasite enjoying the advantage if the value of its Boolean function matches its host, and the host wishing to mismatch its parasite. Surprisingly, this model makes a simple and robust behavioral prediction. The typical system behavior is extit{periodic}. These cycles stay bounded away from the boundary and thus, extit{learning-dynamics competition between sexual species can provide an explanation for genetic diversity.} This explanation is due solely to the natural selection process. No mutations, environmental changes, etc., need be invoked. The game played at the gene level may have many Nash equilibria with widely diverse fitness levels. Nevertheless, sexual evolution leads to gene coordination that implements an optimal strategy, i.e., an optimal population mixture, at the species level. Namely, the play of the many "selfish genes" implements a time-averaged correlated equilibrium where the average fitness of each species is exactly equal to its value in the two species zero-sum competition. Our analysis combines tools from game theory, dynamical systems and Boolean functions to establish a novel class of conservative dynamical systems.

연구 동기 및 목표

• 돌연변이, 종 분화, 환경 변화를 언급하지 않고도 성적 생물에서의 유전자 다양성이 어떻게 지속되는지를 설명하는 것.
• 유전자가 이타적으로 행동하지만 학습 동역학을 통해 협력하는 팀 게임으로서, 두 경쟁 종(예: 숙주-기생충) 간의 공진화를 모델링하는 것.
• 경쟁하는 유전자 팀으로부터 유도되는 보존적 고차원 시스템에서의 복제기법 동역학의 장기적 행동을 분석하는 것.
• 개별 에이전트가 균형에 수렴하지 않더라도 시간 평균된 행동이 0-합 게임에서 최적 전략으로 수렴함을 확립하는 것.

제안 방법

• 유전자가 이익을 공유하는 팀으로 간주하여 두 성적 생물 종을 모델링하고, 유전형의 부울 함수에 기반한 2×2 0-합 게임을 통해 경쟁을 기반으로 한다.
• 유전자 빈도의 진화를 기술하기 위해 연속시간 복제기법 동역학을 적용하며, 적합도는 부울 함수가 만족되는지 여부에 따라 결정된다.
• 평균 유전자 빈도의 진화를 기술하기 위해 (p, q, r, w)-평면 동역학계를 도입하여, 이 시스템이 보존적이고 주기적임을 보여준다.
• 리아푸노프 함수와 푸앵카레-벤디크손 정리를 사용하여, 거의 모든 초기 조건에서 궤적이 주기적임을 증명한다.
• 주기 궤적을 통한 적분을 이용하여 시간 평균 행동을 분석하여, 상관 균형과 최소최대 전략으로 수렴함을 보여준다.
• 개별 에이전트의 시간 평균 기대 유용도가 비균형적이고 진동적인 동역학에도 불구하고, 기저의 0-합 게임에서 팀의 가치와 일치함을 확립한다.

실험 결과

연구 질문

• RQ1 자연 선택만으로도 돌연변이 또는 환경 변화 없이 성적 생물에서의 유전자 다양성이 유지될 수 있는가?
• RQ2 두 성적 생물 종이 부울 적합도 함수에 기반한 0-합 게임에서 공진화할 경우 어떤 동역학적 행동이 나타나는가?
• RQ3 이타적인 유전자 간의 학습 동역학은 비균형적이고 진동적인 행동에도 불구하고, 최적의 집단 수준 전략으로 협력하게 하는가?
• RQ4 개별 궤적이 수렴하지 않더라도, 이러한 시스템에서 시간 평균 행동이 팀 게임의 최소최대 전략을 구현할 수 있는가?

주요 결과

• 거의 모든 초기 조건에서 시스템은 강건하고 유한한 주기적 순환을 나타내며, 이는 대립유전자 빈도가 고정(즉, 0 또는 1)되지 않음을 방지한다.
• 시간 평균 유전자 빈도는 2×2 0-합 게임의 유일한 완전 혼합 내쉬 균형으로 수렴하여 최적의 집단 수준 협력을 보장한다.
• 각 에이전트의 시간 평균 기대 유용도는 0-합 게임에서 팀의 가치로 수렴하며, 최적의 최소최대 전략을 채택한 것과 동일하다.
• 비수렴적이고 진동적인 동역학에도 불구하고, 장기적으로 시스템은 상관 균형을 실현하며, 에이전트는 팀의 최적 전략 가치를 달성한다.
• 동역학은 보존적이며, 리아푸노프 함수로 표현되는 보존량이 존재하며, 평면 시스템에 푸앵카레-벤디크손 정리를 적용하여 주기성이 증명된다.
• 결과는 약한 선택 조건과 무한 인구, 연속시간 근사에서 성립하며, 유한 인구의 경우 중간 시간 스케일에 국한된 함의를 가진다.