[논문 리뷰] A probabilistic interpretation of replicator-mutator dynamics

Ömer Deniz Akyıldız|arXiv (Cornell University)|2017. 12. 21.

Evolutionary Game Theory and Cooperation참고 문헌 7인용 수 4

한 줄 요약

이 논문은 은닉 마르코프 모델(HMM)에서의 예측과 필터링과의 연결을 통해 복제-변이 역학에 대한 확률적 해석을 수립한다. 복제-변이 방정정식이 사후 예측 추론 단계에 해당함을 보이며, 필터링을 나타내는 이중 '변이-복제' 방정식을 도입함으로써 진화적 인구 역학의 보완적인 베이지안 역학적 구조를 드러낸다.

ABSTRACT

In this note, we investigate the relationship between probabilistic updating mechanisms and discrete-time replicator-mutator dynamics. We consider the recently shown connection between Bayesian updating and replicator dynamics and extend it to the replicator-mutator dynamics by considering prediction and filtering recursions in hidden Markov models (HMM). We show that it is possible to understand the evolution of the frequency vector of a population under the replicator-mutator equation as a posterior predictive inference procedure in an HMM. This view enables us to derive a natural dual version of the replicator-mutator equation, which corresponds to updating the filtering distribution. Finally, we conclude with the implications of the interpretation and with some comments related to the recent discussions about evolution and learning.

연구 동기 및 목표

• 베이지안 업데이트와 복제 역학 간의 기존 연결을 은닉 마르코프 모델(HMM)을 통합함으로써 돌연변이를 포함하여 확장하는 것.
• 복제-변이 방정식을 HMM에서의 예측 재귀로 해석하여 돌연변이가 있는 진화 역학의 확률적 기반을 제공하는 것.
• HMM 프레임워크에서 필터링에 대응하는 이중 방정식인 '변이-복제 방정식'을 유도하는 것.
• 특히 학습과 추적 간의 차이를 고려할 때, 진화적 시스템에서의 동적 베이지안 업데이트 과정으로서의 진화를 이해하는 데 미치는 영향을 탐색하는 것.

제안 방법

• 인구 빈도 벡터를 은닉 마르코프 모델(HMM)에서 유형에 대한 사후 분포로 모델링하며, 적합도 함수는 우도로 기능한다.
• 전이 행렬 $K_{ji}$ 가 유형 간 변이를 모델링함으로써 복제-변이 방정식을 HMM에서의 예측 재귀로 도출한다.
• 관측된 적합도 결과 이후 갱신된 신뢰도를 나타내는 필터링 재귀로써 변이-복제 방정식을 도입한다.
• 베이지안 업데이트 규칙을 사용하여 인구 빈도의 진화를 순차적 추론으로 형식화하며, 예측 단계는 변이에 대응하고 필터링 단계는 선택에 대응한다.
• 프레임워크를 적용하여 복제-변이 역학이 시간에 따라 변화하는 우도를 가진 HMM에서의 예측 분포 계산과 동일하다는 것을 보여준다.
• 예측에 대응하는 복제-변이(예측)와 필터링에 대응하는 변이-복제(필터링)의 이중 방정식이 진화 과정을 위한 완전한 베이지안 역학적 시스템을 형성한다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 복제-변이 역학은 은닉 마르코프 모델에서의 확률적 추론 절차로 어떻게 해석될 수 있는가?
• RQ2 복제-변이 방정식의 베이지안 이중 방정식은 무엇이며, HMM에서의 필터링과 어떻게 관련이 있는가?
• RQ3 진화적 역학은 동적 베이지안 추론의 한 형태로 이해될 수 있으며, 만약 그렇다면 학습과 적응에 대해 어떤 함의를 갖는가?
• RQ4 전이 행렬 $K_{ji}$ 를 통한 돌연변이의 포함이 진화적 빈도 갱신의 확률적 해석에 어떻게 영향을 미치는가?
• RQ5 필터링 과정에서 과거 관측에 대한 사후 의존성이 감소함에 따라, 진화 과정이 학습이 아닌 추적으로 간주될 수 있는 정도는 어느 정도인가?

주요 결과

• 복제-변이 방정식은 적합도 함수가 우도로 작용하고 변이 행렬 $K_{ji}$ 가 전이 커널로 작용하는 은닉 마르코프 모델에서의 예측 재귀와 정확히 일치한다.
• 변이-복제 방정식은 필터링 재귀로 도출되며, 관측된 적합도 결과 이후 갱신된 신뢰도를 나타내며, 수학적으로 복제-변이 방정식과 이중성을 가진다.
• 복제-변이 역학은 사후 예측 추론의 한 형태로 해석될 수 있으며, 인구 분포가 유형에 대한 베이지안 예측 분포로 진화한다.
• HMM 프레임워크에서의 필터링 분포는 과거 관측에 대한 의존성이 지수적으로 감소하므로, 진화적 역학이 전체 역사에서의 완전한 학습보다는 최근 환경 상태를 추적하는 데 더 가깝다는 것을 시사한다.
• 진화적 역학에서의 변량 우도 $ \sum_t \bar{f}_t$ 는 베이지안 통계에서의 모델 증거에 대응하며, 다양한 변이 메커니즘 간의 모델 비교 가능성을 시사한다.
• 비록 돌연변이 메커니즘이 원칙적으로 진화할 수는 있지만, 필터링 과정에서 과거 정보의 지수적 상실로 인해 여전히 실시간 추적에 불과할 뿐이며, 완전한 통계적 학습은 이루어지지 않는다.