[論文レビュー] Fully Decentralized Policies for Multi-Agent Systems: An Information Theoretic Approach

Roel Dobbe, David Fridovich-Keil+1 more|arXiv (Cornell University)|Jul 20, 2017

Reinforcement Learning in Robotics参考文献 4被引用数 3

ひとこと要約

本稿では、通信やグローバルな調整なしに完全に分散型のポリシーを学習するための情報理論的枠組みを提案する。ポリシー学習をレート・ドリフト問題としてモデル化し、相互情報量を用いて性能解析と最適な通信構造設計を可能にした。実世界の最適潮流（OPF）ケーススタディにおいて、平均で0.15%のサブオプティマルさと制約違反なしに、ほぼ最適な性能を達成した。

ABSTRACT

Learning cooperative policies for multi-agent systems is often challenged by partial observability and a lack of coordination. In some settings, the structure of a problem allows a distributed solution with limited communication. Here, we consider a scenario where no communication is available, and instead we learn local policies for all agents that collectively mimic the solution to a centralized multi-agent static optimization problem. Our main contribution is an information theoretic framework based on rate distortion theory which facilitates analysis of how well the resulting fully decentralized policies are able to reconstruct the optimal solution. Moreover, this framework provides a natural extension that addresses which nodes an agent should communicate with to improve the performance of its individual policy.

研究の動機と目的

• 通信やグローバルな調整なしに、完全に分散型のポリシーを学習する課題に対処すること。
• レート・ドリフト理論を用いて、分散型ポリシーの根本的な性能限界を分析すること。
• 分散型ポリシー近似における歪みを最小化する最適な通信構造を設計すること。
• 回帰ベースの分散化手法を先行研究を超えて、原理的で理論的な基盤を提供すること。
• 電力分配グリッドにおける実世界の最適潮流（OPF）問題において、フレームワークを検証すること。

提案手法

• 最適な集中型行動 $ u_i^* $ を、グローバル状態 $ x $ に依存する確率変数としてモデル化し、$ p(u_i^*|x) $ は定常的であると仮定する。
• 各エージェントは $ x_i $ のみ観測可能であり、$ \hat{u}_i = \hat{\pi}_i(x_i) $ を用いて $ u_i^* $ を再構築するという分散型ポリシー学習を圧縮問題として定式化する。
• レート・ドリフト理論を用いて、相互情報量 $ I(u_i^*; x_i) $ の関数として期待歪みの下界を導出する。
• この下界を活用し、歪みを最小化するように各エージェントの通信相手を選択するアルゴリズムを設計する。
• 履歴データの $ x_i $ と対応する $ u_i^* $ を用いて、特徴カーネル（線形または二次）を用いた回帰により、局所的ポリシー $ \hat{\pi}_i $ を学習する。
• 集中型OPFを事前にオフラインで解き、履歴負荷およびPVデータを用いて実世界のOPF問題にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 エージェント同士が通信を行わず、グローバルな状態を共有しない状況下で、完全に分散型ポリシーは最適な集中型解をどの程度近似できるか？
• RQ2 歪みの観点から、分散型ポリシーの根本的性能限界は何か？ そして、情報理論的制約によってどのように制限されるか？
• RQ3 エージェント間のどの通信構造が、分散型ポリシー近似における歪みを最小化するか？
• RQ4 提案されたフレームワークは、単純な回帰を越えて、最適潮流のような複雑な実世界の制御問題へ一般化可能か？
• RQ5 最適な通信戦略は、ランダムまたはヒューリスティック戦略と比較して、性能がどのように異なるか？

主な発見

• 実際の配電グリッドOPFケーススタディにおいて、提案手法は集中型最適ポリシーと比較して平均で0.15%のサブオプティマルさ、最大で1.6%の偏差を示した。
• 分散型制御シナリオにおいて、フレームワークはすべての電圧制約違反を防止し、集中型ソリューションと同等の性能を達成した。
• 定理1から導出された最適な通信戦略は、OPF問題における平均二乗誤差歪みの最小化において、ランダム通信戦略を上回った。
• レート・ドリフトフレームワークにより、最適行動と局所的状態間の相互情報量に依存する、原理的で下界としての歪みが得られた。
• ポリシー性能と通信構造設計の理論的基盤を提供することで、先行研究の分散型OPF手法を拡張した。
• 回帰ベースのポリシー学習における線形および二次特徴カーネルは、強力な性能を発揮し、特に複雑なシステムでは後者の方が精度が向上した。