[论文解读] Learning Dynamics and the Co-Evolution of Competing Sexual Species

Georgios Piliouras, Leonard J. Schulman|arXiv (Cornell University)|Nov 18, 2017

Evolutionary Game Theory and Cooperation参考文献 41被引用 4

一句话总结

本文提出了一种博弈论模型，描述两个有性繁殖物种在零和竞争中的共同进化，其中适应度取决于基因特征的布尔函数。通过复制者动态，证明该系统表现出稳健、有界的周期性循环——在无需突变或环境变化的情况下防止了基因单一种化——从而仅通过自然选择即可解释持续的遗传多样性。

ABSTRACT

We analyze a stylized model of co-evolution between any two purely competing species (e.g., host and parasite), both sexually reproducing. Similarly to a recent model of Livnat \etal~\cite{evolfocs14} the fitness of an individual depends on whether the truth assignments on $n$ variables that reproduce through recombination satisfy a particular Boolean function. Whereas in the original model a satisfying assignment always confers a small evolutionary advantage, in our model the two species are in an evolutionary race with the parasite enjoying the advantage if the value of its Boolean function matches its host, and the host wishing to mismatch its parasite. Surprisingly, this model makes a simple and robust behavioral prediction. The typical system behavior is extit{periodic}. These cycles stay bounded away from the boundary and thus, extit{learning-dynamics competition between sexual species can provide an explanation for genetic diversity.} This explanation is due solely to the natural selection process. No mutations, environmental changes, etc., need be invoked. The game played at the gene level may have many Nash equilibria with widely diverse fitness levels. Nevertheless, sexual evolution leads to gene coordination that implements an optimal strategy, i.e., an optimal population mixture, at the species level. Namely, the play of the many "selfish genes" implements a time-averaged correlated equilibrium where the average fitness of each species is exactly equal to its value in the two species zero-sum competition. Our analysis combines tools from game theory, dynamical systems and Boolean functions to establish a novel class of conservative dynamical systems.

研究动机与目标

• 解释在不引入突变、物种形成或环境变化的情况下，有性物种中遗传多样性的持久性。
• 将两个竞争物种（如寄主-寄生虫）之间的共进化建模为团队博弈，其中基因自私行动但通过学习动态实现协调。
• 分析由竞争基因团队产生的保守、高维系统中复制者动态的长期行为。
• 证明即使个体代理未收敛至均衡，时间平均行为仍收敛至零和博弈中的最优策略。

提出的方法

• 将两个有性繁殖物种建模为具有共同利益的基因团队，通过基于其基因型布尔函数的2×2零和博弈进行竞争。
• 应用连续时间复制者动态来建模基因频率演化，其中适应度取决于布尔函数是否被满足。
• 引入(p, q, r, w)-平面动力系统以描述平均基因频率的演化，证明其为保守且周期性的。
• 使用李雅普诺夫函数和庞加莱-本迪克松定理，证明对几乎所有初始条件，轨迹均呈现周期性。
• 通过在周期轨道上积分分析时间平均行为，证明收敛至相关均衡和极小化最大策略。
• 证明即使个体轨迹未收敛，代理的时间平均效用仍与底层零和博弈中团队的值一致，即实现了最优极小化最大策略。

实验结果

研究问题

• RQ1 自然选择是否足以在无突变或环境变化的情况下维持有性物种的遗传多样性？
• RQ2 当两个有性繁殖物种在基于布尔适应度函数的零和博弈中共同进化时，会涌现出何种动力学行为？
• RQ3 自私基因之间的学习动态是否会导致非均衡、振荡行为下的协调、最优种群级策略？
• RQ4 在个体轨迹未收敛的情况下，此类系统中的时间平均行为是否仍能实现团队博弈的极小化最大策略？

主要发现

• 对几乎所有初始条件，系统均表现出稳健、有界的周期性循环，防止等位基因频率达到固定（即0或1）。
• 时间平均基因频率收敛至2×2零和博弈的唯一完全混合纳什均衡，确保种群层面的最优协调。
• 每个代理的时间平均期望效用收敛至零和博弈中团队的值，等价于执行最优极小化最大策略。
• 尽管动态非收敛且呈振荡性，系统在长期仍实现相关均衡，代理达成了其团队最优策略的值。
• 动态具有保守性，存在守恒量（李雅普诺夫函数），并通过将庞加莱-本迪克松定理应用于平面系统证明了周期性。
• 结果在弱选择及无限种群、连续时间极限下成立，对有限种群的启示仅限于中等时间尺度。