[論文レビュー] Task-Based Information Compression for Multi-Agent Communication Problems with Channel Rate Constraints.

Arsham Mostaani, Thang X. Vu+2 more|arXiv (Cornell University)|May 28, 2020

Distributed Control Multi-Agent Systems参考文献 50被引用数 4

ひとこと要約

本稿は、通信レート制約下におけるマルチエージェントシステムのためのタスクベース情報圧縮を提案し、2つの手法を用いる：強化学習を用いた学習ベース情報圧縮（LBIC）と、解析的設計による状態集約による情報圧縮（SAIC）。これらの手法は、観測値を効果的に通信することで報酬損失を最小化し、SAICは特定条件下で最適性能に達することがあり、レントゲンタスクにおいてベンチマークを上回る性能を示す。

ABSTRACT

A collaborative task is assigned to a multiagent system (MAS) in which agents are allowed to communicate. The MAS runs over an underlying Markov decision process and its task is to maximize the averaged sum of discounted one-stage rewards. Although knowing the global state of the environment is necessary for the optimal action selection of the MAS, agents are limited to individual observations. The inter-agent communication can tackle the issue of local observability, however, the limited rate of the inter-agent communication prevents the agent from acquiring the precise global state information. To overcome this challenge, agents need to communicate their observations in a compact way such that the MAS compromises the minimum possible sum of rewards. We show that this problem is equivalent to a form of rate-distortion problem which we call the task-based information compression. We introduce two schemes for task-based information compression (i) Learning-based information compression (LBIC) which leverages reinforcement learning to compactly represent the observation space of the agents, and (ii) State aggregation for information compression (SAIC), for which a state aggregation algorithm is analytically designed. The SAIC is shown, conditionally, to be capable of achieving the optimal performance in terms of the attained sum of discounted rewards. The proposed algorithms are applied to a rendezvous problem and their performance is compared with two benchmarks; (i) conventional source coding algorithms and the (ii) centralized multiagent control using reinforcement learning. Numerical experiments confirm the superiority of the proposed algorithms.

研究の動機と目的

• 部分観測性を有するマルチエージェントシステム（MAS）におけるエージェント間通信レートの制限という課題に対処すること。
• 通信レート制約下におけるMASにおいて、圧縮通信に起因する割引報酬の和の損失を最小化すること。
• タスクに必要なグローバル状態情報の保持を維持しつつ、エージェントの観測値をコン act に表現する通信戦略を開発すること。
• 特定の条件下で最適性能に達する理論的裏付けを持つ手法（SAIC）を設計すること。
• 提案手法を従来のソース符号化および集中型強化学習ベンチマークと比較して評価すること。

提案手法

• 歪みを報酬損失で測定するタスクベースのレート・歪み問題として通信問題を定式化する。
• 深層強化学習を用いてエージェントの観測値のコンパクトな表現を学習する学習ベース情報圧縮（LBIC）を導入する。
• 状態を解析的にグループ化することで、レート制約下での情報損失を最小化する状態集約による情報圧縮（SAIC）を提案する。
• 基礎となるMDPがタスクに必要な情報を保持するのに十分な状態集約を可能にするという仮定の下でSAICを適用する。
• エージェントが割引報酬の和を最大化する枠組みとして、マルコフ決定過程（MDP）を用いてMASをモデル化する。
• LBICの学習と性能評価に、集中型学習・分散型実行（CTDE）パラダイムを用いる。

実験結果

リサーチクエスチョン

• RQ1 タスクベース情報圧縮は、通信レート制約下におけるマルチエージェントシステムで報酬損失を低減できるか？
• RQ2 強化学習で学習されたLBICは、従来のソース符号化と比較して通信効率および報酬性能で優れているか？
• RQ3 SAICはどのような条件下で割引報酬の観点で最適性能に達するか？
• RQ4 提案手法の性能は集中型マルチエージェント強化学習と比較してどうか？
• RQ5 マルチエージェント協調タスクにおいて、通信レートと報酬損失のトレードオフは何か？

主な発見

• 提案されたタスクベース情報圧縮フレームワークは、通信レート制約下でも報酬損失を効果的に低減する。
• SAICは、MDPの特定の構造的仮定のもとで、割引報酬の和の観点で条件付きで最適性能に達する。
• LBICは通信効率および報酬達成の両面で、従来のソース符号化アルゴリズムを上回る。
• LBICおよびSAICの両手法は、レート制限下で集中型マルチエージェント強化学習を著しく上回る通信効率および報酬性能を示す。
• レントゲンタスクにおける数値実験により、報酬損失を最小化する観点で、提案手法がベンチマークを上回ることが確認された。
• 問題のレート・歪み定式化により、通信コストとタスクパフォーマンスの整合的で原理的なトレードオフが可能になった。