[論文レビュー] Intrinsic fluctuations of reinforcement learning promote cooperation

Wolfram Barfuß, Janusz M Meylahn|arXiv (Cornell University)|Sep 1, 2022

Evolutionary Game Theory and Cooperation被引用数 6

ひとこと要約

本論文は、$\epsilon$-greedy探索を伴う時系列差分強化学習における内生的確率的ゆらぎが、マルチエージェントシステムにおける自発的協力の主要因であることを示している。1期分の記憶を持つ繰り返し囚人のジレンマを用いて、著者らはこうしたゆらぎが協力率を、ノイズなしの状態での約40–50％から最大80％まで上昇させることを明らかにした。これにより、ノイズが協力的学習の障害ではなく、むしろ促進要因であることが示された。

ABSTRACT

In this work, we ask for and answer what makes classical temporal-difference reinforcement learning with epsilon-greedy strategies cooperative. Cooperating in social dilemma situations is vital for animals, humans, and machines. While evolutionary theory revealed a range of mechanisms promoting cooperation, the conditions under which agents learn to cooperate are contested. Here, we demonstrate which and how individual elements of the multi-agent learning setting lead to cooperation. We use the iterated Prisoner's dilemma with one-period memory as a testbed. Each of the two learning agents learns a strategy that conditions the following action choices on both agents' action choices of the last round. We find that next to a high caring for future rewards, a low exploration rate, and a small learning rate, it is primarily intrinsic stochastic fluctuations of the reinforcement learning process which double the final rate of cooperation to up to 80%. Thus, inherent noise is not a necessary evil of the iterative learning process. It is a critical asset for the learning of cooperation. However, we also point out the trade-off between a high likelihood of cooperative behavior and achieving this in a reasonable amount of time. Our findings are relevant for purposefully designing cooperative algorithms and regulating undesired collusive effects.

研究の動機と目的

• 独立した強化学習エージェントが明示的な調整なしに自発的に協力する条件を特定すること。
• 学習プロセスにおける内生的確率性が協力的行動を促進する役割を調査すること。
• 学習率、探索率、割引因子、ノイズの寄与が、マルチエージェント強化学習における協力の出現に与える相対的寄与を解明すること。
• 自律的エージェントにおいて、特にアルゴリズム的価格設定や自動運転車などの文脈で、協力的アルゴリズムの理解と設計のためのフレームワークを提供すること。

提案手法

• 研究は、2エージェント、1期分の記憶を持つ繰り返し囚人のジレンマ環境で、Expected SARSAと$\epsilon$-greedy探索を用いる。
• 均衡の安定性は、割引因子（$\delta$）と探索率（$\epsilon$）に依存するという点を分析的に検証することで評価される。
• 学習可能性は、決定論的戦略平均学習ダイナミクスを用いて、異なる均衡の吸引域の大きさを計算することで評価される。
• 時間に依存する学習率（$\alpha(s,a,t) = 1/(t+1)$）を用いた確率的バッチ学習アルゴリズムを実装し、現実的な学習ダイナミクスを再現するとともに、内生的ゆらぎの影響を分離する。
• アルゴリズムは、行動選択用の$ q_{\text{act}} $ と価値推定用の$ q_{\text{val}} $ の2つの価値テーブルを用い、適応のための別々の学習率を設定する。
• 収束がAll-Defect、Grim-Trigger、Win-Stay, Lose-Shift均衡に到達するかどうかを測定するために、1000本の軌道をランダムな初期状態行動価値でシミュレーションする。

実験結果

リサーチクエスチョン

• RQ1 時系列差分強化学習におけるどのような条件下で、マルチエージェント環境で自発的協力が生じるか？
• RQ2 学習プロセスにおける内生的確率的ゆらぎが、協力的戦略の出現にどのように影響するか？
• RQ3 学習率、探索率、割引因子が、協力に到達する可能性に与える相対的寄与は何か？
• RQ4 独立学習によって協力的均衡に確実に到達できるのか、それともノイズが収束に不可欠か？
• RQ5 高水準の協力と収束に要する時間の間にはどのようなトレードオフがあるか？

主な発見

• 強化学習プロセスにおける内生的確率的ゆらぎは、最終的な協力率を約40–50％から最大80％まで上昇させ、ノイズが協力の促進要因であることを示している。
• 協力的均衡（Win-Stay, Lose-Shift）は、エージェントが将来の報酬を十分に重視する（高い割引因子$\delta$）、探索率が低い（$\epsilon$が小さい）、かつ学習率が小さい場合にのみ、安定的に成立する。
• 確率的要素がなければ、協力的均衡の吸引域は初期状態の約40–50％に限られ、決定論的設定では学習可能性が限定的であることが示された。
• 内生的ゆらぎの導入により、有効な吸引域が著しく拡大され、はるかに多くの試行で協力に収束することが可能になった。
• 研究結果は、高水準の協力率を達成するにはノイズが重要であるが、同時に収束を遅くするというトレードオフがあることを示しており、高水準の協力は時間的収束効率を犠牲にしている。
• 結果として、ノイズは欠陥ではなく、独立した強化学習における自発的協力のための必須要因であることが示唆され、ノイズを最小限に抑えるべきであるという見解に挑戦する。