[論文レビュー] Concave Utility Reinforcement Learning: the Mean-Field Game Viewpoint

Matthieu Geist, Julien Pérolat+6 more|arXiv (Cornell University)|Jun 7, 2021

Auction Theory and Applications参考文献 26被引用数 9

ひとこと要約

本稿は、凹関数効用強化学習（CURL）が平均場ゲーム（MFG）の部分集合であることを確立し、CURLにおける凹性とMFGにおける単調性の間の同等性を示し、最適性条件をナッシュ均衡に関連付けることで、2つの研究分野を統合する。Fictitious PlayアルゴリズムがCURLに適用される場合、これはFrank-Wolfeに等価であり、MFGにおける離散時間Fictitious Playの収束速度を初めて得る。また、MFG特有のアルゴリズム（例：オンラインミラー降下法（OMD））が数値実験で標準的手法を上回ることを示している。

ABSTRACT

Concave Utility Reinforcement Learning (CURL) extends RL from linear to concave utilities in the occupancy measure induced by the agent's policy. This encompasses not only RL but also imitation learning and exploration, among others. Yet, this more general paradigm invalidates the classical Bellman equations, and calls for new algorithms. Mean-field Games (MFGs) are a continuous approximation of many-agent RL. They consider the limit case of a continuous distribution of identical agents, anonymous with symmetric interests, and reduce the problem to the study of a single representative agent in interaction with the full population. Our core contribution consists in showing that CURL is a subclass of MFGs. We think this important to bridge together both communities. It also allows to shed light on aspects of both fields: we show the equivalence between concavity in CURL and monotonicity in the associated MFG, between optimality conditions in CURL and Nash equilibrium in MFG, or that Fictitious Play (FP) for this class of MFGs is simply Frank-Wolfe, bringing the first convergence rate for discrete-time FP for MFGs. We also experimentally demonstrate that, using algorithms recently introduced for solving MFGs, we can address the CURL problem more efficiently.

研究の動機と目的

• 凹関数効用強化学習（CURL）と平均場ゲーム（MFG）の間の理論的橋渡しを確立すること。
• CURLにおける効用関数の凹性が関連MFGにおける単調性に対応すること、およびCURLにおける最適性がMFGにおけるナッシュ均衡に対応することを示すこと。
• Fictitious PlayがCURLにおいてFrank-Wolfeの一種として同定されることにより、アルゴリズム的視点を統合し、収束速度解析を可能にすること。
• 実験的に、MFG特有のアルゴリズム（例：オンラインミラー降下法（OMD））がCURL問題を解く際、標準的Fictitious Playを上回ることを示すこと。
• MFGアルゴリズムを一般CURL問題（探索、模倣学習、制約付きMDPなど）に活用する可能性を検討すること。

提案手法

• 理論的分析により、CURL問題がMFGの部分集合であることを示し、占有測度と効用関数をMFGにおける代表的エージェントと集団の相互作用にマッピングすることで実現する。
• CURLにおける効用関数の凹性が、ナッシュ均衡の存在を保証する既知の十分条件であるMFGのハミルトニアン・ヤコビ・ベルマン（HJB）作用素の単調性と等価であることを証明する。
• CURLにおける最適性条件（占有測度上での凹関数の最大化）が、MFGにおける報酬の不正利用（exploitability）条件に正確に一致することを示し、これは代表的エージェントのナッシュ均衡を特徴付ける。
• Hazanら[21]が提唱したCURL用アルゴリズムがMFGにおけるFictitious Playの一種であることを同定し、さらにそれがMFG定式化に適用されたFrank-Wolfe法と等価であることを示す。
• 最近開発されたMFG用オンラインミラー降下法（OMD）をCURL問題に適用し、MFGフレームワークを用いて勾配ベース最適化により方策を更新する。
• 数値実験では、Fictitious PlayとOMDを4つのCURLタスク（純粋な探索、周辺分布マッチング、制約付きMDP、多目的強化学習）に対して比較し、不正利用度と目的関数を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 CURLとMFGの間には、CURL問題がMFGの部分集合と見なせるという正式な同等性があるか？
• RQ2 CURLにおける効用関数の凹性は、関連MFGにおける単調性に対応するか？そしてこの同等性は解の存在を保証するか？
• RQ3 CURLにおける最適性条件は、MFGにおける不正利用条件として再解釈可能か？逆に、MFGにおける不正利用条件はCURLの解法概念に再解釈可能か？これにより、両フレームワーク間の解法概念が結びつけられるか？
• RQ4 CURLで用いられるFictitious Playアルゴリズムは、MFGにおけるFrank-Wolfe法と等価か？そしてこの同等性により、MFGにおける離散時間Fictitious Playの収束速度が得られるか？
• RQ5 MFG特有のアルゴリズム（例：オンラインミラー降下法（OMD））はCURL問題に効果的に適用可能か？また、収束速度と解の質の観点で、古典的Fictitious Playを上回るか？

主な発見

• CURLにおける効用関数の凹性は、対応するMFGにおけるハミルトニアン・ヤコビ・ベルマン（HJB）作用素の単調性と数学的に同等であり、これは一意なナッシュ均衡の存在を保証する既知の条件である。
• CURLにおける最適性条件（占有測度上での凹関数の最大化）は、MFGにおける不正利用条件に正確に一致し、これは代表的エージェントのナッシュ均衡を特徴付ける。
• Hazanら[21]が提唱したCURL用Fictitious Playアルゴリズムは、MFG定式化に適用されたFrank-Wolfe法と正式に等価であり、MFGにおける離散時間Fictitious Playの収束速度が初めて得られる。
• 数値実験では、MFG用オンラインミラー降下法（OMD）が、探索、周辺分布マッチング、制約付きMDP、多目的強化学習を含むすべてのテストCURLタスクでFictitious Playよりも著しく高速に収束することが示された。
• すべての実験で、OMDは低い不正利用度と、ターゲット分布（例：周辺分布マッチングや制約付きMDP）とのより良い整合性を達成しており、これは少ない方策評価数でも高品質な解を得ていることを示している。
• 最終方策集団の対数密度プロットでは、OMDがFictitious Playに比べて、特にマルチモーダルまたは制約付き設定においてより一様で構造的整合性の高い方策を生成していることが確認され、その優れた性能が裏付けられている。