[논문 리뷰] Shaping the learning signal in a combined Q-learning rule to improve structured cooperation

Chunpeng Du, Zongyang Li외 3명|arXiv (Cornell University)|2026. 01. 29.

Evolutionary Game Theory and Cooperation인용 수 0

한 줄 요약

본 논문은 격자에서 명성(reputation)을 Q-learning 강화 신호에 반영하는 것이 cooperation을 촉진하며, 그 효과는 학습률과 할인율에 의존함을 보여준다.

ABSTRACT

Q-learning provides a standard reinforcement learning framework for studying cooperation by specifying how agents update action values from repeated local interactions outcomes. Although previous work has shown that reputation can promote cooperation in such systems, most models introduce reputation by modifying payoffs, encoding it directly in the state or changing partner selection, which makes it difficult to isolate the role of the learning signal itself. Here, we construct the reinforcement signal as a weighted combination of reputation and game payoffs, leaving the game and network structure unchanged. We find that increasing the weight on reputation generally promotes cooperation by consolidating clusters, but this effect is conditional on the learning dynamics. Specifically, this promoting effect vanishes in two regimes: when the learning rate is extremely small, which prevents effective information propagation and when the discount factor approaches one, as distant future expectations obscure the immediate reputational advantage. Outside these limiting cases, the efficacy of reputation in promoting cooperation is attenuated by higher learning rates but amplified by larger discount factors. These results advance the understanding of cooperative dynamics by demonstrating that cooperation can be stabilized through the reputational shaping of learning signals alone, providing critical insights into the interplay between social information and individual learning parameters.

연구 동기 및 목표

• 공간 격자에서 명성 정보를 반영한 강화 신호가 협력 역학에 미치는 영향을 조사한다.
• 보상이나 네트워크 구조의 효과를 분리하여 협력 촉진에 대한 학습 신호 형성의 효과를 고립 분석한다.
• 학습률과 할인 계수 가 협력에 미치는 명성의 영향을 어떻게 조절하는지 분석한다.

제안 방법

• Von Neumann 이웃을 가진 정사각 격자와 약한 Prisoner’s Dilemma 보상을 사용한다.
• 각 에이전트를 Q-테이블로 표현하고 표준 Q-러닝을 통해 강화 신호를 보상(normalized payoff)과 명성(reputation)의 가중 혼합으로 업데이트한다: Pi(t)=(1-β)·π_i(t)+β·R_i(t).
• 명성은 행동에 따라 결정적으로 진화한다: r_i(t+1)=r_i(t)+1 if cooperates, r_i(t+1)=r_i(t)-1 if defects (capped to [0,100]).
• 결합하기 전에 보상과 명성을 [0,1]로 정규화하고 Q값을 업데이트한다: Q(s,a) ← (1-α)Q(s,a) + α[Π_i(t) + γ max Q(s’,a’)].
• ε-탐욕 탐색과 동기식 업데이트를 사용한다; 100,000 Monte Carlo 스텝을 수행한다; 최종 5,000 스텝에서 협력 수준 ρ_C를 측정한다.

Figure 2: The cooperation level on the parameter plane of $\alpha$ and reputation weight (a) and on the parameter plane of discount factor $\gamma$ and reputation weight (b). The color-coded stationary values of $\rho_{C}$ are indicated by the bar shown on the right-hand side. While the effect of pa

실험 결과

연구 질문

• RQ1 보상 신호에서 명성의 가중치가 고정된 게임과 네트워크에서 격자상의 협력을 촉진하는가?
• RQ2 학습률 α와 할인 계수 γ가 명성 가중치 β와 어떻게 상호작용하여 협력에 영향을 주는가?
• RQ3 명성 가중치 Q-러닝 하에서 협력의 시공간 패턴과 미시적 전이 역학은 어떠한가?
• RQ4 명성이 협력을 촉진하지 않는 매개변수 구간이 있는가?

주요 결과

• 협력은 덫의 강도 b에 걸쳐 명성 가중치 β가 증가함에 따라 점진적으로 상승한다.
• 두 가지 극한 구간에서, 매우 작은 α 또는 매우 큰 γ에서 명성의 촉진 효과가 사라진다.
• 이외의 한계 밖에서, 더 큰 α는 명성의 영향을 약화시키고 더 큰 γ는 그것을 증폭시켜 네트워크 상호성이 촉진된다.
• β를 증가시키면 협력 클러스터의 응집과 확산이 빠르게 진행되어 네트워크 상호성이 강화된다.
• 시공간 패턴은 더 큰 β가 더 큰 협력 도메인을 낳지만 모방 기반 업데이트보다 덜 촘촘한 클러스터를 보인다.

Figure 3: The time evolution of spatial patterns at different reputation weight $\beta$ . From top to bottom, the values of $\beta$ are 0.0, 0.5 and 1.0. The snapshots were taken at time steps $T=0,1000,10000,50000$ and $99999$ . Defectors and cooperators are represented by blue and red cells, respe