[论文解读] A probabilistic interpretation of replicator-mutator dynamics

Ömer Deniz Akyıldız|arXiv (Cornell University)|Dec 21, 2017

Evolutionary Game Theory and Cooperation参考文献 7被引用 4

一句话总结

本文通过将复制-突变动力学与隐马尔可夫模型（HMM）中的预测和滤波联系起来，为其建立了概率解释，表明复制-突变方程对应于后验预测推断步骤。本文引入了一个对偶的‘突变-复制’方程，代表滤波过程，揭示了进化种群动力学背后互补的贝叶斯动态结构。

ABSTRACT

In this note, we investigate the relationship between probabilistic updating mechanisms and discrete-time replicator-mutator dynamics. We consider the recently shown connection between Bayesian updating and replicator dynamics and extend it to the replicator-mutator dynamics by considering prediction and filtering recursions in hidden Markov models (HMM). We show that it is possible to understand the evolution of the frequency vector of a population under the replicator-mutator equation as a posterior predictive inference procedure in an HMM. This view enables us to derive a natural dual version of the replicator-mutator equation, which corresponds to updating the filtering distribution. Finally, we conclude with the implications of the interpretation and with some comments related to the recent discussions about evolution and learning.

研究动机与目标

• 将已知的贝叶斯更新与复制动力学之间的联系扩展至包含突变，通过引入隐马尔可夫模型（HMM）实现。
• 将复制-突变方程解释为HMM中的预测递归，为其提供带有突变的进化动力学的概率基础。
• 推导出一个对偶方程——称为突变-复制方程——其对应于HMM框架中的滤波过程。
• 探讨将进化视为动态贝叶斯更新过程的含义，特别是关于进化系统中学习与追踪的权衡。

提出的方法

• 将种群频率向量建模为隐马尔可夫模型（HMM）中类型上的后验分布，其中适应度函数作为似然函数。
• 将复制-突变方程推导为HMM中的预测递归，其中转移矩阵 $K_{ji}$ 用于建模类型之间的突变。
• 将突变-复制方程引入为滤波递归，表示在观察到适应度结果后更新后的信念。
• 使用贝叶斯更新规则，将种群频率的演化形式化为序列推断过程，其中预测步骤对应于突变，滤波步骤对应于自然选择。
• 应用该框架证明，复制-突变动力学等价于具有时变似然函数的HMM中的预测分布计算。
• 证明对偶方程——复制-突变（预测）与突变-复制（滤波）——共同构成进化过程的完整贝叶斯动态系统。

实验结果

研究问题

• RQ1 复制-突变动力学如何被解释为隐马尔可夫模型中的一种概率推断程序？
• RQ2 复制-突变方程的贝叶斯对偶是什么？它与HMM中的滤波过程有何关系？
• RQ3 进化动力学能否被理解为一种动态贝叶斯推断形式？如果是，这对学习与适应意味着什么？
• RQ4 通过转移矩阵 $K_{ji}$ 引入突变后，对进化频率更新的概率解释有何影响？
• RQ5 基于后验分布对过去观测的依赖性衰减，进化过程在多大程度上可被视为追踪而非学习？

主要发现

• 复制-突变方程与隐马尔可夫模型中的预测递归完全对应，其中适应度函数作为似然函数，突变矩阵 $K_{ji}$ 作为转移核。
• 突变-复制方程被推导为滤波递归，表示在观察到适应度结果后的更新信念，且在数学上与复制-突变方程互为对偶。
• 复制-突变动力学可被解释为一种后验预测推断形式，其中种群分布作为类型上的贝叶斯预测分布演化。
• 在HMM框架中，滤波分布对过去观测的依赖性呈指数衰减，表明进化动力学可能更倾向于追踪近期环境状态，而非完整学习整个历史。
• 进化动力学中的边际似然 $\sum_t \bar{f}_t$ 对应于贝叶斯统计中的模型证据，暗示可对不同突变机制进行模型比较。
• 尽管突变机制在原则上可演化，但由于滤波过程中对过去信息的指数级遗忘，此类适应仍仅相当于实时追踪，而非完整的统计学习。