[論文レビュー] Neurosymbolic Transformers for Multi-Agent Communication

Jeevana Priya Inala, Yichen Yang+6 more|arXiv (Cornell University)|Jan 5, 2021

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本稿では、行動選択にトランスフォーマー方策を、通信方策にプログラム的通信を組み合わせたハイブリッドフレームワーク「Neurosymbolic Transformers」を提案する。まず、ソフトアテンションパターンを学習するトランスフォーマーを事前学習し、その後、確率的プログラム合成を用いて離散的で低次数の通信グラフを合成することで、通信帯域を著しく削減した上で、ほぼ最適な性能を達成する。標準的なトランスフォーマーに比べ、通信効率が優れている。

ABSTRACT

We study the problem of inferring communication structures that can solve cooperative multi-agent planning problems while minimizing the amount of communication. We quantify the amount of communication as the maximum degree of the communication graph; this metric captures settings where agents have limited bandwidth. Minimizing communication is challenging due to the combinatorial nature of both the decision space and the objective; for instance, we cannot solve this problem by training neural networks using gradient descent. We propose a novel algorithm that synthesizes a control policy that combines a programmatic communication policy used to generate the communication graph with a transformer policy network used to choose actions. Our algorithm first trains the transformer policy, which implicitly generates a "soft" communication graph; then, it synthesizes a programmatic communication policy that "hardens" this graph, forming a neurosymbolic transformer. Our experiments demonstrate how our approach can synthesize policies that generate low-degree communication graphs while maintaining near-optimal performance.

研究の動機と目的

• 帯域制約下での協調的マルチエージェント計画における通信の最小化という課題に取り組む。
• 固定または完全接続型通信グラフの制限を避けるために、通信次数を低く抑えつつ高いタスクパフォーマンスを達成する通信方策を設計する。
• 学習可能で解釈可能な通信構造を用いることで、分散型マルチエージェントシステムにおける効率的でスケーラブルかつ頑健な協調を実現する。
• 離散的で微分不可能な通信次数の目的関数を克服するため、ニューラルネットワークと記号的プログラム合成を組み合わせる。
• グローバルな調整を必要とせずに通信意思決定に確率性を導入することで、一般化性能と頑健性を向上させる。

提案手法

• まず、ソフトアテンション重みを端末から学習するトランスフォーマー方策を、エンドツーエンドで訓練する。これにより、有用な通信パターンが暗黙的にモデル化される。
• MCMCサンプリングに基づく確率的合成アルゴリズムを用い、トランスフォーマーの行動を再現しながら通信グラフの最大次数を最小化するプログラム的通信方策を生成する。
• プログラム的方策は、集合操作（フィルタ、マップ）と確率的選択を用いて通信相手を選択し、分散的かつ頑健な意思決定を可能にする。
• 最終的なNeurosymbolic Transformerでは、合成されたプログラムから通信グラフをハードウェア化し、その後、選択されたエッジでのみトランスフォーマーのアテンション重みをファインチューニングする。
• 通信方策は、元のトランスフォーマーとの類似性と通信効率の両方を最適化するために、重み付き目的関数を用いて訓練される。
• 本手法は、最大インデグリーフィルタ、全エッジ数などのさまざまな通信指標をサポートしており、LIDARやカメラ入力などの複雑な観測にも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 神経記号的手法により、タスクパフォーマンスを損なわせることなくマルチエージェントシステムの通信を削減できるか？
• RQ2 学習フレームワーク内で、離散的で微分不可能な通信次数の目的関数を効果的に最適化する方法は何か？
• RQ3 確率的選択を内蔵するプログラム的通信方策は、分散型マルチエージェント協調における負荷分散と頑健性を向上させられるか？
• RQ4 シンボリックなプログラム的方策は、ソフトアテンショントランスフォーマーと同等のパフォーマンスを達成しながら、通信量を著しく削減できるか？
• RQ5 学習された通信ルールは、経路計画や衝突回避といったタスク関連のエージェント相互作用とどのように関係しているか？

主な発見

• 提案されたNeurosymbolic Transformerは、標準的なトランスフォーマーに比べ通信次数を著しく削減しながら、ほぼ最適なタスクパフォーマンスを達成した。
• プログラム的通信方策は、確率的選択を用いることで通信負荷をエージェント全体に分散させ、高次数のハブを回避した。
• 合成された方策は解釈可能であり、可視化されたルール条件とスコアから、長期計画や衝突回避に関連するエージェントに通信が集中していることが示された。
• 固定通信グラフ（例：距離に基づく）よりも優れた性能を示し、より効果的でタスクに適応した通信構造を学習した。
• 確率的ルールの導入により、リンク障害に対しても通信が動的に適応可能となり、パフォーマンスの低下が生じなかった。
• 本手法は、さまざまな通信指標に一般化可能であり、カメラやLIDAR入力などの複雑な観測を持つ環境にも拡張可能である。