[논문 리뷰] On Sex, Evolution, and the Multiplicative Weights Update Algorithm

Reshef Meir, David C. Parkes|arXiv (Cornell University)|2015. 02. 17.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 5

한 줄 요약

이 논문은 약한 선택이나 곱분포 가정 없이도 재조합 이후 선택(RS) 및 선택 이후 재조합(SR) 조건 하에서 인구 역학이 다가역적 가중치 업데이트 알고리즘(MWUA)의 경계 확률 분포를 정확히 반영함을 보여줌으로써, 성적 진화와 MWUA 간의 관계를 일반화한다. 핵심 기여는 약한 선택이나 분포 가정 없이도 엄밀한 대응 관계를 확립한 것으로, 이는 이전 연구를 확인하고 확장하며, 성적 생식이 일반적인 적합도 지도에서 유전자 수준에서 무결함 없는 학습을 실현함을 드러낸다.

ABSTRACT

We consider a recent innovative theory by Chastain et al. on the role of sex in evolution [PNAS'14]. In short, the theory suggests that the evolutionary process of gene recombination implements the celebrated multiplicative weights updates algorithm (MWUA). They prove that the population dynamics induced by sexual reproduction can be precisely modeled by genes that use MWUA as their learning strategy in a particular coordination game. The result holds in the environments of \emph{weak selection}, under the assumption that the population frequencies remain a product distribution. We revisit the theory, eliminating both the requirement of weak selection and any assumption on the distribution of the population. Removing the assumption of product distributions is crucial, since as we show, this assumption is inconsistent with the population dynamics. We show that the marginal allele distributions induced by the population dynamics precisely match the marginals induced by a multiplicative weights update algorithm in this general setting, thereby affirming and substantially generalizing these earlier results. We further revise the implications for convergence and utility or fitness guarantees in coordination games. In contrast to the claim of Chastain et al.[PNAS'14], we conclude that the sexual evolutionary dynamics does not entail any property of the population distribution, beyond those already implied by convergence.

연구 동기 및 목표

• MWUA를 통해 성적 진화를 모델링할 때 약한 선택과 곱분포 가정을 내세운 이전 연구의 모순을 해결하기 위해.
• 생물학적 인구 역학(RS 및 SR)과 MWUA의 변종 사이에 일반적인 대응 관계를 수립하기 위해.
• 성적 생식 하에서의 유전자 수렴성과 손실 성질을 명확히 하여, 이전에 인구 수준의 적합도 최적화에 관해 잘못된 해석을 수정하기 위해.
• 원래 모델의 가정이 실제로 인구 역학과 일치하지 않음을 입증하기 위해, 특히 앨레르그 분포 간 상관관계 측면에서.

제안 방법

• 조건부 확률과 적합도 가중 평균을 사용하여 SR 및 RS 인구 역학 하에서의 유전자 경계 확률 분포를 유도한다.
• 서로 연관된 전략을 다루는 일반화된 MWUA 변종을 도입하여, 이가 성적 인구 내 유전자 경계 역학과 정확히 일치함을 보인다.
• 수학적 귀납법과 공동 분포의 재귀적 분해를 활용하여, 각 유전자가 무결함 없는 학습 규칙을 적용하는 것처럼 진화함을 증명한다.
• 게임 이론 및 학습 알고리즘 분야에서 알려진 수렴 결과를 적용하여, 약한 선택 조건 없이도 SR 역학 하에서 각 유전자에 대해 유한한 누적 손실이 보장됨을 보인다.
• 실증적으로 인구 분포가 와이트 만행(곱분포)에서 크게 벗어날 수 있음을 입증하여, 이전 연구의 가정을 무효화한다.
• 일반적인 적합도 조건 하에서 RS와 SR 역학이 동일하지 않음을 보여줌으로써, 이 둘의 상호교환 가능성에 대한 모순된 해석을 조율한다.

실험 결과

연구 질문

• RQ1 약한 선택이나 곱분포 가정 없이도 다가역적 가중치 업데이트 알고리즘(MWUA)이 성 인구 내 유전자 경계 분포를 정확히 기술할 수 있는가?
• RQ2 일반적인 적합도 행렬 조건 하에서 SR 및 RS 인구 역학이 MWUA에 대해 얼마나 유사한가?
• RQ3 약한 선택이나 독립된 앨레르그 분포 가정 없이도 개별 유전자에 대해 유한한 누적 손실을 보장할 수 있는가?
• RQ4 실제 인구 분포와 이전 연구에서 주장한 적합도 최적화 성질 사이의 진정한 관계는 무엇인가?
• RQ5 왜 곱분포 가정과 약한 선택 가정이 실제 인구 역학과 일치하지 않는가?

주요 결과

• 약한 선택이나 곱분포 가정 없이도 SR 및 RS 역학 하에서 각 유전자의 경계 분포가 다가역적 가중치 업데이트 알고리즘의 업데이트 규칙과 정확히 일치한다.
• 이 대응 관계는 유전자 수, 적합도 행렬, 재조합 비율, 初기 인구 빈도에 관계없이 성립한다.
• 인구 역학은 와이트 만행(곱분포)에서 크게 벗어날 수 있으며, 이는 찬스타인 등 [2014]의 핵심 가정을 무효화한다.
• SR 역학 하에서, 원래 MWUA 변종의 수렴 성질 덕분에 약한 선택 조건 없이도 각 유전자가 유한한 누적 손실을 경험한다.
• 예시는 SR 및 RS 역학이 서로 다른 평형에 수렴할 수 있음을 보여주며, 일반 조건 하에서 이 둘이 상호교환 가능하다는 주장에 반박한다.
• 원래 주장인 성적 진화가 적합도 합과 엔트로피의 조합을 최적화한다는 것은 지지되지 않으며, 이 과정은 수렴성 외에 추가 최적화 성질을 암시하지 않는다.