[論文レビュー] Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions

Michael Chang, Sidhant Kaushik+3 more|arXiv (Cornell University)|Jul 5, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 7

ひとこと要約

本論文は、局所的な経済取引（特にヴィンクレー・オークション）を通じて、自己利益志向の専門的エージェントの社会が、分散型の強化学習フレームワークとして、グローバルな逐次意思決定問題を共同で解決することを提案する。主な貢献は、クローンド・ヴィンクレー社会であり、局所的なオークション利得を最適化するエージェントのナッシュ均衡が、グローバルなマルコフ決定過程の最適方策と完全に一致することを保証する。これにより、サンプル効率が高く、モジュラーで、優れた転移性能を示す学習が可能になる。

ABSTRACT

This paper seeks to establish a framework for directing a society of simple, specialized, self-interested agents to solve what traditionally are posed as monolithic single-agent sequential decision problems. What makes it challenging to use a decentralized approach to collectively optimize a central objective is the difficulty in characterizing the equilibrium strategy profile of non-cooperative games. To overcome this challenge, we design a mechanism for defining the learning environment of each agent for which we know that the optimal solution for the global objective coincides with a Nash equilibrium strategy profile of the agents optimizing their own local objectives. The society functions as an economy of agents that learn the credit assignment process itself by buying and selling to each other the right to operate on the environment state. We derive a class of decentralized reinforcement learning algorithms that are broadly applicable not only to standard reinforcement learning but also for selecting options in semi-MDPs and dynamically composing computation graphs. Lastly, we demonstrate the potential advantages of a society's inherent modular structure for more efficient transfer learning.

研究の動機と目的

• 単一エージェント強化学習タスクとして定式化される、モノリシックな逐次意思決定問題を、分散型で自己利益志向のエージェントが共同で解くという課題に対処すること。
• 非協力的ゲームにおけるナッシュ均衡の計算の非効率性を克服するため、最適なグローバル行動が、局所的利得最大化のナッシュ均衡として自然に出現するメカニズムを設計すること。
• 経済的取引を通じた局所的クレジット割り当てにより、グローバル方策を学習する分散型強化学習アルゴリズムのクラスを開発し、標準的なMDPを超えた広範な応用可能性を実現すること。
• このフレームワークが転移学習においてどのような利点を示すかを実証し、モノリシックなベースラインと比較して、より速い適応とよりモジュラーな重み更新が可能であることを示すこと。
• フレームワークを階層的意思決定や動的計算グラフ構成に拡張し、さまざまな学習タスクにわたる一般性を検証すること。

提案手法

• エージェントは、環境の各状態で密封入札型ヴィンクレー・オークションに参加し、次のアクションを実行する者を決定する。入札に勝ったエージェントは、状態遷移に応じた報酬を受ける。
• クローンド・ヴィンクレー社会は、市場ダイナミクスの安定化と、非最適均衡やスペキュレーティブ・バブルの防止を目的として、各プリミティブ・エージェントの冗長コピーを用いる。
• このメカニズムにより、真実の入札が優位戦略となり、局所的利得最大化のナッシュ均衡が、MDPの最適グローバル方策と正確に一致することが保証される。
• 各エージェントが局所的オークション利得を学習する分散型強化学習アルゴリズムが導出され、取引を通じたクレジット割り当てによって、間接的にグローバルな目的が最適化される。
• 半MDPへの応用では、オプションをオークションシステム内のエージェントとして扱い、動的計算グラフへの応用では、関数合成を逐次的取引としてモデル化する。
• クレジットを節約するヴィンクレー実装は、不要なクレジット再割り当てを最小限に抑えることで、訓練の安定性と性能を向上させる、具体的なインスタンスとして提案される。

実験結果

リサーチクエスチョン

• RQ1 自己利益志向で専門化されたエージェントの社会は、中央集権的調整なしに、局所的な経済取引を通じてグローバルな逐次的意思決定問題を共同で解決できるか？
• RQ2 どのようなオークションメカニズムにおいて、個々のエージェントのナッシュ均衡が、グローバルMDPの最適方策と正確に一致するか？
• RQ3 局所的オークションによる分散型クレジット割り当ては、モノリシックな強化学習におけるグローバルクレジット割り当てと比較して、サンプル効率性と転移学習性能の面でどのように異なるか？
• RQ4 このフレームワークは、階層的意思決定（例：半MDPにおけるオプション）や動的計算グラフ構成に一般化可能か？
• RQ5 この社会のモジュラーで取引ベースの構造は、モノリシックなアーキテクチャと比較して、より並列的かつ転送可能な学習を実現するか？

主な発見

• クローンド・ヴィンクレー社会は、ヴィンクレー・オークションの真実性と効率性のおかげで、局所的オークション利得を最適化するエージェントのナッシュ均衡が、グローバルMDPの最適方策と正確に一致することを保証する。
• 2部屋環境では、クローンド・ヴィンクレー社会は、階層的モノリシックPPOベースラインと比較して、より速い転移タスクへの適応を達成し、より少ない回数かつより小さな重みの変更が発生した。これは、より高いモularityと並列性を示唆する。
• マインド・ローテーション環境では、社会は平均報酬0.933（標準偏差0.014）に収束し、動的計算グラフ構成タスクにおける有効な学習を示した。
• クレジットを節約するヴィンクラー実装は、社会的および個々のエージェントのパフォーマンスにおいて、他のバージョンを上回り、安定性とクレジット割り当ての改善を示した。
• 分散型フレームワークは、事前学習におけるサンプル効率が優れており、転移学習がより速く進行した。これは、局所的クレジット割り当てが、グローバルクレジット割り当てよりも並列的かつ独立した学習を可能にするという仮説を支持する。
• 実証的結果から、社会的フレームワークのモジュラー構造が、パrameterのグローバル結合性を低減し、モノリシックモデルと比較して、より効率的かつスケーラブルな学習ダイナミクスを実現していることが示唆された。