[論文レビュー] A probabilistic interpretation of replicator-mutator dynamics

Ömer Deniz Akyıldız|arXiv (Cornell University)|Dec 21, 2017

Evolutionary Game Theory and Cooperation参考文献 7被引用数 4

ひとこと要約

本稿は、隠れマルコフモデル（HMM）における予測とフィルタリングとを結びつけることで、リプレカレータ・ミュテータ動的システムに確率的解釈をもたらす。リプレカレータ・ミュテータ方程式が事後予測推論ステップに対応することを示し、フィルタリングを表す双対的な「ミュテータ・リプレカレータ」方程式を導入することで、進化的な集団動的システムの背後にある補完的ベイズ的構造を明らかにする。

ABSTRACT

In this note, we investigate the relationship between probabilistic updating mechanisms and discrete-time replicator-mutator dynamics. We consider the recently shown connection between Bayesian updating and replicator dynamics and extend it to the replicator-mutator dynamics by considering prediction and filtering recursions in hidden Markov models (HMM). We show that it is possible to understand the evolution of the frequency vector of a population under the replicator-mutator equation as a posterior predictive inference procedure in an HMM. This view enables us to derive a natural dual version of the replicator-mutator equation, which corresponds to updating the filtering distribution. Finally, we conclude with the implications of the interpretation and with some comments related to the recent discussions about evolution and learning.

研究の動機と目的

• ベイズ更新とリプレカレータ・ダイナミクスの既知の関係に、隠れマルコフモデル（HMM）を組み込むことで変異を含めた拡張を図ること。
• リプレカレータ・ミュテータ方程式をHMMにおける予測再帰式として解釈し、変異を伴う進化的ダイナミクスに確率的基盤を与えること。
• HMMフレームワークにおけるフィルタリングに対応する、双対的な方程式（「ミュテータ・リプレカレータ方程式」として命名）を導出すること。
• 進化的システムにおける学習とトレースの両立の観点から、進化を動的ベイズ更新プロセスとして捉えることの意味を検討すること。

提案手法

• 集団の頻度ベクトルを、隠れマルコフモデル（HMM）におけるタイプ上の事後分布としてモデル化し、適応度関数を尤度として扱う。
• リプレカレータ・ミュテータ方程式を、遷移行列 $K_{ji}$ がタイプ間の変異をモデル化するHMMにおける予測再帰式として導出する。
• 観測された適応度の結果に基づき、更新された信念を表すフィルタリング再帰式として、ミュテータ・リプレカレータ方程式を導入する。
• ベイズ更新ルールを用いて、集団頻度の進化を逐次的推論として形式化し、予測ステップが変異に対応し、フィルタリングステップが選択に対応することを示す。
• この枠組みを適用して、リプレカレータ・ミュテータダイナミクスが、時変尤度を持つHMMにおける予測分布の計算と等価であることを示す。
• 双対的な方程式群（リプレカレータ・ミュテータ：予測、ミュテータ・リプレカレータ：フィルタリング）が、進化的プロセスの完全なベイズ的動的システムを形成することを示す。

実験結果

リサーチクエスチョン

• RQ1 リプレカレータ・ミュテータダイナミクスは、隠れマルコフモデル（HMM）における確率的推論手順としてどのように解釈できるか？
• RQ2 リプレカレータ・ミュテータ方程式のベイズ的双対は何か？ そしてそれはHMMにおけるフィルタリングとどのように関係するか？
• RQ3 進化的ダイナミクスは、動的ベイズ推論の一形態として理解できるか？ もしそうならば、学習と適応性にどのような意味が生じるか？
• RQ4 遷移行列 $K_{ji}$ を用いた変異の組み込みが、集団頻度の更新の確率的解釈にどのように影響するか？
• RQ5 フィルタリングプロセスにおける過去の観測への事後依存の減衰に基づいて、進化的プロセスを学習ではなくトレースとして捉えることはどの程度妥当か？

主な発見

• リプレカレータ・ミュテータ方程式は、適応度関数が尤度として機能し、変異行列 $K_{ji}$ が遷移核として機能するHMMにおける予測再帰式に正確に一致する。
• ミュテータ・リプレカレータ方程式は、観測された適応度結果に基づく更新された信念を表すフィルタリング再帰式として導出され、数学的にリプレカレータ・ミュテータ方程式と双対的である。
• リプレカレータ・ミュテータダイナミクスは、タイプ上の事後予測分布としての進化を示し、集団分布がタイプに関するベイズ的予測分布として進化することを示唆する。
• HMMフレームワークにおけるフィルタリング分布は、過去の観測への依存が指数関数的に減少するため、進化的ダイナミクスは過去の環境状態を完全に学習するのではなく、最近の状態をトレースしている可能性がある。
• 進化的ダイナミクスにおける周辺尤度 $\sum_t \bar{f}_t$ は、ベイズ統計におけるモデル証拠に対応し、異なる変異メカニズム間のモデル比較の可能性を示唆する。
• 変異メカニズム自体が進化することは理論的には可能であるが、フィルタリングプロセスにおける過去情報の指数的忘却のため、依然としてリアルタイムでのトレースに留まり、完全な統計的学習にはならない。