[論文レビュー] Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective

Paul Chelarescu|arXiv (Cornell University)|Jun 9, 2021

Experimental Behavioral Economics Studies参考文献 68被引用数 8

ひとこと要約

この論文は、マルチエージェント強化学習（MARL）における社会的学習において、エージェントが互いの報酬関数を再設計することで協力を促進する際の「だまし」の問題を調査している。エージェントが互いの学習プロセスを操作する際、だましは深刻なリスクであると特定し、今後の信頼性があり強靭な社会的学習システムを構築するための、主な未解決問題と仮定を提示している。

ABSTRACT

Within the framework of Multi-Agent Reinforcement Learning, Social Learning is a new class of algorithms that enables agents to reshape the reward function of other agents with the goal of promoting cooperation and achieving higher global rewards in mixed-motive games. However, this new modification allows agents unprecedented access to each other's learning process, which can drastically increase the risk of manipulation when an agent does not realize it is being deceived into adopting policies which are not actually in its own best interest. This research review introduces the problem statement, defines key concepts, critically evaluates existing evidence and addresses open problems that should be addressed in future research.

研究の動機と目的

• マルチエージェント強化学習（MARL）における社会的学習において、だましを深刻で未だ十分に検討されていないリスクとして特定すること。
• 直接的な報酬の再設計が、協力的・競争的混合動機の環境において、どのように操作を可能にするかを分析すること。
• 信頼できる、スケーラブルな協力的AIシステムを構築するうえで、社会的インcentiveにおけるだましの問題を根幹的な課題として位置づけること。
• インcentiveに基づく協力メカニズムにおける信頼性、透明性、強靭性に関する未解決の研究課題を浮き彫りにすること。
• 社会的学習に基づくマルチエージェントシステムにおける、だましの検出・防止・モデル化に関する今後の研究の基盤を提供すること。

提案手法

• エージェントが同伴評価に基づいて互いの報酬関数を再設計できる、マルチエージェント強化学習（MARL）フレームワークとしての社会的学習を導入する。
• 報酬の操作という視点からだましを分析し、エージェントが他者を、最適でない方策へ誘導するように意図的に誤情報を与えることを検討する。
• 他者の学習がインセンティブにどう反応するかを予測する予測モデルを用いた計画型エージェントモデルを提案する。
• だまし行動の検出・防止において、主要な挑戦となる共同方策の非定常性を考慮する。
• 情報非対称性とセルフプレイを用いて、だましの相手をモデル化し、強靭な反応を構築するメカニズムを検討する。
• セルフプレイの限界について、協調ゲームにおいて、新たな潜在的にだますような相手に一般化できない点を検証する。

実験結果

リサーチクエスチョン

• RQ1 報酬関数を操作することで、エージェントは自らの最善でない方策を採用させられるか？
• RQ2 エージェントが互いの学習プロセスを再設計する際、信頼性と透明性を保証するメカニズムは何か？
• RQ3 多様で混合動機の環境において、協力的エージェントはどのようにだましを検出し、防御できるか？
• RQ4 マルチエージェント学習における非定常性が、だまし行動の検出をどのように複雑にするか？
• RQ5 セルフプレイに基づく訓練は、新たな敵対的エージェントからのだましに対して、強靭な方策を生み出すことができるか？

主な発見

• 社会的学習におけるだましは、エージェントが他者の報酬関数を操作して自己中心的な方策を促進することで生じる。これは、操作のリスクが極めて高い経路を形成する。
• 現在の社会的学習メカニズムはエージェントの同質性を仮定しているが、目的が異なる多様なグループでは、だましが深刻な懸念事項となる。
• 他者の学習を予測・再設計する計画型エージェントモデルは、モデルが不透明でエージェントがインセンティブを受け入れられない場合、倫理的リスクを伴う。
• セルフプレイに基づく訓練は、新たな相手に一般化できない特異な方策を生み出す可能性があり、だましに対する強靭性を制限する。
• 同時に進行する学習における非定常性は、だましの検出を複雑にする。今後の手法は、動的かつ変化する共同方策を考慮する必要がある。
• 非対称情報ゲームにおける強靭性の既存アプローチ（例：相手モデル化）は、だましを自己プレイによって完全に再構築できる場合に限り、だましの検出に拡張可能である。