[論文レビュー] Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning

Elizaveta Tennant, Stephen Hailes+1 more|arXiv (Cornell University)|Jan 20, 2023

Evolutionary Game Theory and Cooperation被引用数 4

ひとこと要約

本論文は、功利主義、義務論、徳目論に基づく簡略化された道徳的報酬関数を埋め込むことで、マルチエージェント強化学習における道徳的意思決定をモデル化する新しいフレームワークを提案する。道徳的報酬関数に基づくエージェントが協力的である一方で、自己利益をむしろ狙う相手に容易に搾取される傾向にあることが示された。一方、平等志向のエージェントは学習段階で搾取的行動を示し、混合徳目エージェントは協力的ではあるが、依然として搾取の対象となる。

ABSTRACT

Practical uses of Artificial Intelligence (AI) in the real world have demonstrated the importance of embedding moral choices into intelligent agents. They have also highlighted that defining top-down ethical constraints on AI according to any one type of morality is extremely challenging and can pose risks. A bottom-up learning approach may be more appropriate for studying and developing ethical behavior in AI agents. In particular, we believe that an interesting and insightful starting point is the analysis of emergent behavior of Reinforcement Learning (RL) agents that act according to a predefined set of moral rewards in social dilemmas. In this work, we present a systematic analysis of the choices made by intrinsically-motivated RL agents whose rewards are based on moral theories. We aim to design reward structures that are simplified yet representative of a set of key ethical systems. Therefore, we first define moral reward functions that distinguish between consequence- and norm-based agents, between morality based on societal norms or internal virtues, and between single- and mixed-virtue (e.g., multi-objective) methodologies. Then, we evaluate our approach by modeling repeated dyadic interactions between learning moral agents in three iterated social dilemma games (Prisoner's Dilemma, Volunteer's Dilemma and Stag Hunt). We analyze the impact of different types of morality on the emergence of cooperation, defection or exploitation, and the corresponding social outcomes. Finally, we discuss the implications of these findings for the development of moral agents in artificial and mixed human-AI societies.

研究の動機と目的

• 功利主義、義務論、徳目論という異なる道徳的枠組みが、社会的ジレンマにおける強化学習エージェントの行動にどのように影響を与えるかを調査すること。
• 主要な倫理的体系を簡略化しつつも代表的な形で反映できる、道徳的報酬関数を体系的に符号化する手法を構築すること。
• 3つの繰り返し社会的ジレンマゲーム（囚人のジレンマ、ボランティアのジレンマ、ハトとキジのジレンマ）における2エージェント間の反復的相互作用を通じて、出現する協力、裏切り、搾取の様相を分析すること。
• AIエージェント間の道徳的多様性が、倫理的でない人工的およびハイブリッドな人間-AI社会の設計に与える影響を探ること。
• 複雑なマルチエージェント環境における道徳的エージェント相互作用の今後の研究のための基盤的メソドロジーを提供すること。

提案手法

• 功利主義（グローバル報酬の最大化）、義務論（規範の順守）、徳目論（親切さや平等といった内面的徳の強調）に基づく3つの倫理的枠組みに根ざした道徳的報酬関数の設計。
• 自己利益報酬だけでなく、これらの道徳的報酬関数に従って行動する内発的動機づけられた強化学習エージェントの実装。
• 繰り返し社会的ジレンマゲーム3種（囚人のジレンマ、ボランティアのジレンマ、ハトとキジのジレンマ）における反復的2エージェント相互作用を用いたエージェントの評価。
• 固定された相手タイプを用いたマルチエージェント強化学習設定を採用し、100回の独立した学習実験を通じて学習ダイナミクスと社会的結果を分析。
• 親切さと平等を調整可能な重みで組み合わせた混合徳目報酬関数を導入し、多目的道徳的行動を研究。
• 収束速度、協力率、搾取パターンの分析を通じて、異なる道徳的エージェントタイプを比較。

実験結果

リサーチクエスチョン

• RQ1 功利主義、義務論、徳目論に基づく異なる道徳的報酬構造が、マルチエージェント強化学習における協力または裏切りの出現にどのように影響を与えるか。
• RQ2 道徳的エージェントが繰り返し社会的ジレンマで相互作用する際の学習ダイナミクスと社会的結果はいかなるものか。
• RQ3 親切さと平等をバランスさせる混合徳目道徳エージェント（親切さと平等の両方を重視）は、純粋な徳目エージェントと比較して、協力性および搾取への感受性においてどのように異なるか。
• RQ4 規範に基づく道徳的エージェント（例：義務論的、徳目的親切さ）は、協力的ポリシーを学習するが、それでもなお搾取されやすいのか。
• RQ5 多目的道徳的報酬関数における異なる徳の重み付けが、エージェント行動と社会的結果に与える影響はどの程度か。

主な発見

• 功利主義的、義務論的、徳目的親切さエージェントは、3つのゲームすべてにおいて一貫して協力的ポリシーを学習し、パレート最適な結果を達成した。
• これらの規範に基づくおよび親切さ志向のエージェントは、自己利益志向の相手に体系的に搾取された。これは、協力が必ずしも搾取に対するレジリエンスを保証しないことを示している。
• 徳目的平等エージェントは、収束に至るまでの学習段階で搾取的行動を示した。これは、平等志向の道徳的システムが協力の安定性を損なう可能性があることを示唆している。
• 親切さと平等に等しい重みを置いた混合徳目エージェントは、純粋な親切さエージェントと同様に協力的であったが、搾取の対象となった。これは、強い平等のインcentiveがない場合には親切さが支配的であることを示している。
• 平等の重み（β）が非常に高い場合にのみ、混合徳目エージェントはより防御的で、協力的でない行動にシフトした。これは、道徳的トレードオフがポリシーの出現に顕著に影響を与えることを示している。
• 本研究は、人工社会における多様な道徳的エージェントをモデル化するための方法論的基盤を確立し、今後の複雑なマルチエージェント環境における道徳的ダイナミクスの研究を可能にする。