[論文レビュー] The Prescription Approach to Decentralized Stochastic Control with Word-of-Mouth Communication

Aditya Dave, Andreas A. Malikopoulos|arXiv (Cornell University)|Jul 28, 2019

Distributed Control Multi-Agent Systems被引用数 4

ひとこと要約

本稿は、ワードオブマウス通信を通じて遅延を伴って通信するネットワークを介して相互に連携するエージェントを対象とした、非定常な情報構造における分散確率的制御問題を解くための「処方法（prescription approach）」を提案する。時間不変空間における最適制御戦略の構造的結果を導出し、最適処方が局所的状態情報と完全処方のみに依存することを証明することで、非古典的情報構造下でもグローバルに最適な解が得られることを示している。

ABSTRACT

In this paper we analyze a network of agents that communicates through word of mouth. In a word-of-mouth communication system, every agent communicates with its neighbors with delays in communication. This is a non-classical information structure where the topological and temporal restrictions in communication mean that information propagates slowly through the network. We present the prescription approach to derive structural results for such problems. The structural results lead to optimal control strategies with time invariant domain-sizes. We show that these domains are smaller in size than the control strategies derived using the common information approach.

研究の動機と目的

• エージェントが遅延を伴って通信するワードオブマウス通信を経由する分散確率的制御問題を扱う。その結果、非古典的情報構造が生じる。
• このような通信制約下において、時間不変空間における最適制御戦略の構造的特徴を明らかにする。
• 従来のアプローチ（例えばデザイナーのアプローチ）が計算的に非現実的であるのを避ける、解法フレームワークを提供する。
• 処方法と共通情報アプローチを比較し、グローバルに最適な戦略を導出する点で処方法の優位性を示す。

提案手法

• 処方法は、エージェント間の遅延を伴う隣人同士の情報交換をネットワークとしてモデル化し、ワードオブマウスのダイナミクスを捉える。
• 現在および過去の情報状態に基づいて、将来のすべての制御行動を要約する「完全処方（complete prescription）」の概念を導入する。
• エージェントの連合情報状態における動的プログラミングを用い、局所的状態情報と完全処方の両方に依存するコスト・トゥ・ゴール関数を導出する。
• 各エージェントの最適処方が、自らの情報状態と他のエージェントの完全処方のみに依存することを証明し、時間不変の制御則が可能であることを示す。
• コスト・トゥ・ゴールの式を簡略化するために、原始確率変数の条件付き期待値および確率分布を活用する。
• 数学的帰納法を用いて、すべてのエージェントに対して最適処方戦略の構造的結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 遅延を伴うワードオブマウス通信を伴う分散システムにおいて、最適制御戦略はどのように導出可能か？
• RQ2 遅延的で隣人ベースの通信に起因する非古典的情報構造下で、最適制御戦略の構造的性質は何か？
• RQ3 処方法は、人間ごとの最適化アプローチが失敗する状況においてもグローバルに最適な解をもたらすか？
• RQ4 構造的単純さと計算可能性の観点から、処方法は共通情報アプローチと比べてどのように異なるか？
• RQ5 最適処方が、局所的状態情報と他のエージェントの完全処方のみに依存する条件は何か？

主な発見

• 各エージェントの最適処方戦略は、自らの情報状態と他のエージェントの完全処方のみに依存するため、時間不変の制御則が可能である。
• 各エージェントのコスト・トゥ・ゴール関数は、局所的コストと連合システム状態の期待値に分解され、処方の構造のおかげで取り扱いやすい。
• 処方法は、デザイナーのアプローチとは異なり、非古典的情報構造下でもグローバルに最適な解を提供する。
• 最適戦略の構造的性質に注目することで、デザイナーのアプローチの高い計算複雑性を回避する。
• 数学的帰納法により構造的結果が証明され、エージェント $k$ が時刻 $t$ で最適な処方を、情報状態 $\Pi_t^k, \dots, \Pi_t^K$ および完全処方 $\Theta_t^k, \dots, \Theta_t^K$ の関数として得られることを示している。
• ドローンスワームや接続された車両ネットワークのように、エージェントが非対称かつ遅延的に情報にアクセスする状況でも、最適制御戦略の導出が可能である。