[論文レビュー] The emergence of division of labor through decentralized social sanctioning

Anil Yaman, Joel Z. Leibo+2 more|arXiv (Cornell University)|Aug 10, 2022

Evolutionary Game Theory and Cooperation参考文献 59被引用数 4

ひとこと要約

本稿では、分散型の社会的制裁——つまり、出現する社会的規範としてモデル化された——が、自己利益志向で生涯学習を行う個々の人物が、一部の役割が内的報酬が低い場合でも、自発的に生産的な労働分担を構築できることを提案している。ε-greedy強化学習フレームワークを用い、規範に基づく報酬調整を行うことで、中央集権的調整なしに安定的かつ高集団福祉の役割分布を達成した。これは、社会的規範が分散型のインcentive整合性を通じて集団的行動のジレンマを解消できることを示している。

ABSTRACT

Human ecological success relies on our characteristic ability to flexibly self-organize into cooperative social groups, the most successful of which employ substantial specialization and division of labor. Unlike most other animals, humans learn by trial and error during their lives what role to take on. However, when some critical roles are more attractive than others, and individuals are self-interested, then there is a social dilemma: each individual would prefer others take on the critical but unremunerative roles so they may remain free to take one that pays better. But disaster occurs if all act thusly and a critical role goes unfilled. In such situations learning an optimum role distribution may not be possible. Consequently, a fundamental question is: how can division of labor emerge in groups of self-interested lifetime-learning individuals? Here we show that by introducing a model of social norms, which we regard as emergent patterns of decentralized social sanctioning, it becomes possible for groups of self-interested individuals to learn a productive division of labor involving all critical roles. Such social norms work by redistributing rewards within the population to disincentivize antisocial roles while incentivizing prosocial roles that do not intrinsically pay as well as others.

研究の動機と目的

• 自己利益志向の個々の人物が、重要だが内的報酬が低い役割をどのように学習して埋めることになるかという課題に取り組むこと。
• 分散型の社会的規範——出現する制裁のパターン——が、利他的な役割選択を促進できるかどうかを調査すること。
• 社会的規範が報酬を再分配することで、反社会的役割を抑制し、重要なが低報酬の役割を促進する仕組みをモデル化すること。
• 集団レベルの労働分担を達成する上で、自己利益志向、グローバル、利他的な学習戦略と比較して、規範に基づく学習戦略の有効性を評価すること。

提案手法

• 個々の人物は、経験的に推定された報酬に基づいて選択するε-greedy Q学習アルゴリズム（第1段階）を用いて役割を学習する。
• 第2段階では、役割間の励まし／抑止のルールをk×k行列としてモデル化し、観察された行動に基づいて報酬を動的に更新する。
• 社会的制裁は分散的に適用される：十分な報酬を持つ個々の人物が規範を強制可能であり、貧困な個々の人物はそうできない。これにより、規範記憶が保持される。
• 規範進化プロセスは、ハイルクライミングアルゴリズムを用い、スパarsityペナルティ（λ||S||₀）を導入して、集団報酬を最大化するように最適化する。
• モデルの性能評価には、集団の役割分布に応じて報酬が決定される「集落維持」と「共用牧場」の2つのゲームを用いる。
• 比較ベースラインには、自己利益志向（ε-greedy）、利的（近隣の報酬加重平均）、グローバル最適化（空間的役割分布における遺伝的アルゴリズム）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 分散型の社会的制裁は、自己利益志向の個々の人物が、すべての重要な役割を含む労働分担を学習できるか？
• RQ2 内的報酬がない状況で、報酬を再分配する規範的ルールが、利的役割選択の出現にどのように影響を与えるか？
• RQ3 提示された規範に基づく学習アプローチは、自己利益志向、利的、グローバル最適化戦略と比較して、高集団福祉を達成する上で優れているか？
• RQ4 資源制約は、役割割分担における社会的規範の実装と持続性にどのように影響を与えるか？

主な発見

• 規範に基づく学習アプローチは、集落維持および共用牧場ゲームの両方で、安定的かつ高集団福祉の役割分布を達成した。
• モデルは、社会的規範が、無料乗車（free-riding）を効果的に抑制し、報酬が低いが重要な役割への参加を促進できることを示した。
• 分散型制裁は、報酬格差のため重要な役割を埋められない自己利益志向の学習に比べ、優れた性能を示した。
• 規範進化にスパarsityペナルティ（λ||S||₀）を組み込むことで、シンプルで解釈可能な規範システムが得られ、依然として高い性能を達成した。
• 利的および自己利益志向／利的戦略は中程度の性能を示したが、規範に基づくアプローチに比べ、一貫した最適な役割分布の達成に失敗した。
• 役割が存在しなくても規範的ルールが保持されたため、現在の役割の可用性とは独立した、規範の文化的記憶が存在することが示された。