[논문 리뷰] The Kullback-Liebler Divergence as a Lyapunov Function for Incentive Based Game Dynamics

Dashiell Fryer|arXiv (Cornell University)|2012. 06. 30.

Evolutionary Game Theory and Cooperation참고 문헌 10인용 수 5

한 줄 요약

이 논문은 인센티브 기반 게임 역학의 광범위한 클래스에 대해 Kullback-Leibler (KL) 발산을 리아푸노프 함수로 확장하여, 조건이 충족될 경우 평형점에서 점점이 안정됨을 증명한다. 주요 기여는 이전의 복제 역학 및 진화적 안정 상태 결과를 특수 케이스로 포함하는 일반 정리이다.

ABSTRACT

It has been shown that the Kullback-Leibler divergence is a Lyapunov function for the replicator equations at evolutionary stable states, or ESS. In this paper we extend the result to a more general class of game dy-namics. As a result, sufficient conditions can be given for the asymptotic stability of rest points for the entire class of incentive dynamics. The previous known results will be can be shown as corollaries to the main theorem. 1 Information Theory and The Replicator Dy-namics Information theory was originally developed by Claude Shannon and Warren Weaver [Sha01, SW49] as a mathematical framework to describe problems in communication including, but not limited to, data compression and storage. They introduced measures of information called entropy1. Shannon’s entropy, denoted H(P), is a measure of the average uncertainty in a random variable, P. It can be interpreted as the average number of bits needed to encode a message drawn i.i.d. from P. Maximizing the entropy can be used to give a lower bound on this average number of bits needed for encryption. For our purposes, the concepts of cross entropy and relative entropy will be of great use. The Kullback-Leibler divergence (KL divergence or DKL) [KL51], or relative entropy is a measure of information gain (loss) from one state to another. More precisely, it is an average measure of the additional bits needed 1In fact, the Shannon entropy is simply the Boltzmann entropy [Jay65] without the con-stants 1 ar

연구 동기 및 목표

• 진화적 안정 상태에서 KL 발산이 복제 역학에 대해 리아푸노프 함수임을 알려진 결과를 일반화하기 위해.
• 더 넓은 범위의 인센티브 기반 게임 역학에 대해 KL 발산이 리아푸노프 함수로 기능할 수 있는 충분 조건을 규명하기 위해.
• 복제 역학 및 ESS 안정성에 관한 이전 결과들을 하나의 이론적 프레임워크 안에서 통합하고 포함하기 위해.
• 정보 이론적 도구를 사용하여 진화 게임 역학에서 점점이 안정성을 분석하는 이론적 기반을 제공하기 위해.

제안 방법

• 전략 갱신이 인센티브 함수에 의해 구동되는 연속 시간 동적 시스템의 클래스로 인센티브 역학을 수식화하기.
• 현재 전략 분포와 평형점 사이의 Kullback-Leibler 발산을 후보 리아푸노프 함수로 정의하기.
• 특정 조건 하에서 인센티브 함수에 대해 궤적의 시간 도함수가 음이 또는 영인 반정의가 됨을 증명하기.
• 평형점이 내부 해일 때 및 인센티브 함수가 일정한 정규성 및 양성 조건을 만족할 경우, KL 발산이 궤적을 따라 단조 감소함을 확립하기.
• 리아푸노프 안정성 정리를 사용하여 KL 발산 도함수가 음정일 경우 평형점의 점점이 안정됨을 결론 내리기.
• 특정 인센티브 함수(예: 로짓 또는 최적 반응)를 선택함으로써 기존의 복제 역학 결과를 특수 케이스로 재유도하기.

실험 결과

연구 질문

• RQ1 인센티브 기반 게임 역학에 대해 Kullback-Leibler 발산이 언제 리아푸노프 함수가 되는가?
• RQ2 정보 이론적 도구를 사용하여 진화적 안정 상태의 안정성 분석을 복제 역학을 초월해 일반화할 수 있는가?
• RQ3 인센티브 함수의 성질이 역학의 수렴 행동에 어떻게 영향을 미치는가?
• RQ4 일반적인 인센티브 역학에서 KL 발산과 평형점의 안정성 간의 관계는 무엇인가?
• RQ5 이전의 복제 역학 결과들이 더 일반적인 정리의 추론으로 유도될 수 있는가?

주요 결과

• 인센티브 함수에 대한 약간의 정규성 및 양성 조건 하에서, KL 발산은 광범위한 인센티브 기반 게임 역학에 대해 리아푸노프 함수로 기능한다.
• 평형점이 내시 균형일 때 및 인센티브 함수가 적절한 매끄러움과 엄격한 양성 조건을 만족할 경우, 궤적을 따라 KL 발산의 시간 도함수가 음이 또는 영인 반정의가 된다.
• KL 발산 도함수가 음정일 경우 평형점의 점점이 안정됨이 보장되며, 이는 인센티브 함수에 대해 더 강력한 조건이 요구된다.
• 인센티브 함수가 로짓 또는 최적 반응 맵핑에 해당할 경우, 복제 역학 및 진화적 안정 상태가 특수 케이스로 회복된다.
• 일반 정리는 이전의 진화 게임 이론 결과들을 포함하고 확장하는 통합된 프레임워크를 제공한다.
• 상대 엔트로피를 리아푸노프 함수로 사용함으로써 정보 이론 원리를 통해 수렴 역학에 대한 깊이 있는 이해가 가능해진다.