[논문 리뷰] Intrinsic fluctuations of reinforcement learning promote cooperation

Wolfram Barfuß, Janusz M Meylahn|arXiv (Cornell University)|2022. 09. 01.

Evolutionary Game Theory and Cooperation인용 수 6

한 줄 요약

이 논문은 $\epsilon$-greedy 탐색을 사용하는 시간차분 강화학습에서 내재된 확률적 변동성이 다중 에이전트 시스템에서의 자발적 협력의 핵심 원동력임을 입증한다. 한 주기 기억을 가진 반복 범죄자 딜레마를 사용하여, 저자들은 이러한 변동성이 협력률을 소음이 없는 경우 약 40–50%에서 최대 80%로 증가시킴으로써, 소음이 협력 학습에서 장애물이 아니라 핵심적 촉진 요소임을 밝혀냈다.

ABSTRACT

In this work, we ask for and answer what makes classical temporal-difference reinforcement learning with epsilon-greedy strategies cooperative. Cooperating in social dilemma situations is vital for animals, humans, and machines. While evolutionary theory revealed a range of mechanisms promoting cooperation, the conditions under which agents learn to cooperate are contested. Here, we demonstrate which and how individual elements of the multi-agent learning setting lead to cooperation. We use the iterated Prisoner's dilemma with one-period memory as a testbed. Each of the two learning agents learns a strategy that conditions the following action choices on both agents' action choices of the last round. We find that next to a high caring for future rewards, a low exploration rate, and a small learning rate, it is primarily intrinsic stochastic fluctuations of the reinforcement learning process which double the final rate of cooperation to up to 80%. Thus, inherent noise is not a necessary evil of the iterative learning process. It is a critical asset for the learning of cooperation. However, we also point out the trade-off between a high likelihood of cooperative behavior and achieving this in a reasonable amount of time. Our findings are relevant for purposefully designing cooperative algorithms and regulating undesired collusive effects.

연구 동기 및 목표

• 독립적인 강화학습 에이전트가 명시적 조율 없이 자발적으로 협력하는 조건을 규명하는 것.
• 학습 과정에서 내재된 확률성이 협력 행동을 촉진하는 역할을 조사하는 것.
• 학습률, 탐색률, 할인 인자, 노이즈가 다중 에이전트 강화학습에서 협력의 출현에 기여하는 정도를 분리하여 분석하는 것.
• 자율 에이전트에서 협력 알고리즘을 이해하고 설계하기 위한 프레임워크를 제공하는 것. 특히 알고리즘 가격 설정 및 자율 주행 차량과 같은 맥락에서 적용한다.

제안 방법

• 연구는 이중 에이전트, 한 주기 기억을 가진 반복 범죄자 딜레마 환경에서 기대 SARSA와 $\epsilon$-greedy 탐색을 사용한다.
• 균형 안정성은 할인 인자 ($\delta$)와 탐색률 ($\epsilon$)에 대한 의존성 분석을 통해 분석적으로 분석한다.
• 학습 가능성은 다양한 균형에 대한 안착 영역 크기를 계산하기 위해 결정론적 전략 평균 학습 동역학을 평가함으로써 평가한다.
• 실제 학습 동역학을 시뮬레이션하고 내재된 변동성의 영향을 분리하기 위해 시간에 따라 변하는 학습률 ($\alpha(s,a,t) = 1/(t+1)$)를 사용하는 확률적 배치 학습 알고리즘을 구현한다.
• 알고리즘은 행동 선택을 위한 $q_{\text{act}}$와 가치 추정을 위한 $q_{\text{val}}$라는 두 개의 가치 테이블을 사용하며, 적응을 위한 별도의 학습률을 적용한다.
• 수렴이 All-Defect, Grim-Trigger, Win-Stay, Lose-Shift 균형에 도달하는지 측정하기 위해 1000개의 경로를 무작위로 초기 상태-행동 값으로 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 시간차분 강화학습에서 다중 에이전트 환경에서 자발적 협력을 이끄는 조건은 무엇인가?
• RQ2 학습 과정의 내재된 확률적 변동성이 협력 전략의 출현에 어떤 영향을 미치는가?
• RQ3 학습률, 탐색률, 할인 인자가 협력 달성 가능성에 기여하는 상대적 기여도는 무엇인가?
• RQ4 독립적 학습을 통해 협력 균형에 안정적으로 도달할 수 있는가, 아니면 노이즈가 수렴에 필수적인가?
• RQ5 고수준 협력 달성과 수렴에 소요되는 시간 사이의 트레이드오프는 무엇인가?

주요 결과

• 강화학습 과정에서의 내재된 확률적 변동성이 최종 협력률을 약 40–50%에서 최대 80%로 증가시켜, 노이즈가 협력의 핵심 촉진 요소임을 입증한다.
• 협력 균형( Win-Stay, Lose-Shift)은 에이전트가 미래 보상을 충분히 중시할 때(높은 할인 인자 $\delta$), 탐색률이 낮을 때($\epsilon$가 낮고), 학습률이 작을 때에만 안정적으로 유지된다.
• 확률성이 없을 경우, 협력 균형의 안착 영역은 초기 조건의 약 40–50%에 국한되어 있어 결정론적 설정에서의 학습 가능성에 한계가 있음을 시사한다.
• 내재된 변동성의 포함은 효과적인 안착 영역을 크게 확장하여, 훨씬 더 많은 시도에서 협력으로 수렴할 수 있도록 한다.
• 연구 결과는 트레이드오프를 드러낸다: 높은 노이즈는 협력 가능성은 높이지만 수렴 속도를 느리게 하여 고수준 협력 달성에 소요되는 시간이 증가함을 보여, 효율성 측면에서 비효율적임을 시사한다.
• 결과적으로 노이즈는 결함이 아니라 독립적 강화학습에서 자발적 협력을 가능하게 하는 필수적 특성임을 시사하며, 학습 시스템에서 노이즈를 최소화해야 한다는 관점에 도전한다.