[論文レビュー] Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations

Kalesha Bullard, Franziska Meier+3 more|arXiv (Cornell University)|Oct 29, 2020

Modular Robots and Swarm Intelligence被引用数 6

ひとこと要約

本稿では、記号的「安価な会話」の代わりに連続的でエネルギーを要する共同軌道を用いて、身体的なマルチエージェントシステムにおけるゼロショットの顕在的通信を調査する。共通の知識に基づくエネルギーコストと非一様な意図分布（例：ジプファニアン）を活用することで、頻度の高い意図が低エネルギーの運動にマッピングされ、新規の相手に対しても一般化可能となる。主な貢献は、潜在的なエネルギー構造がゼロショット協調を可能にすることを示したことであり、カリキュラムベースの訓練を用いることで10意図タスクで34%のZS精度を達成した。

ABSTRACT

Effective communication is an important skill for enabling information exchange and cooperation in multi-agent settings. Indeed, emergent communication is now a vibrant field of research, with common settings involving discrete cheap-talk channels. One limitation of this setting is that it does not allow for the emergent protocols to generalize beyond the training partners. Furthermore, so far emergent communication has primarily focused on the use of symbolic channels. In this work, we extend this line of work to a new modality, by studying agents that learn to communicate via actuating their joints in a 3D environment. We show that under realistic assumptions, a non-uniform distribution of intents and a common-knowledge energy cost, these agents can find protocols that generalize to novel partners. We also explore and analyze specific difficulties associated with finding these solutions in practice. Finally, we propose and evaluate initial training improvements to address these challenges, involving both specific training curricula and providing the latent feature that can be coordinated on during training.

研究の動機と目的

• 記号的チャネルの代わりに、連続的で物理的根拠を持つ行動（関節軌道）を用いた身体的エージェントにおける顕在的通信を研究すること。
• エネルギー消費などの物理的コストに根ざした通信が、記号的チャネルなしでゼロショット協調（新規に独立して訓練された相手への一般化）が可能かどうかを調査すること。
• 局所最適解、潜在的構造の発見、エネルギー順序の組み合わせ最適化といった、このようなシステムの訓練における課題を分析すること。
• エネルギーベースのカリキュラムや潜在的監督といった訓練改善策が、耐性および一般化を向上させるかを評価すること。
• 共通の知識に基づく環境的制約（例：エネルギーコスト）が、顕在的通信のための協調信号として機能できることを示すこと。

提案手法

• エージェントは、装備された身体の動きを通信信号として用いる参照ゲームを、3次元シミュレーテッド環境で訓練する。
• 通信は連続的アクション列（関節軌道）としてモデル化され、エネルギーコストは運動全体における合計トルクとして計算される。
• 非一様な意図頻度をモデル化するためにジプファニアン分布が用いられ、頻度の高い意図に対して低エネルギーの運動が優遇される。
• 訓練中に潜在的エネルギー値を導入し、共通の協調構造の発見を支援することで、一般化性能が向上する。
• トルクを最小化するカリキュラムベースの事前訓練フェーズを実施し、初期のエネルギー分布を安定化させ、最適化中の再配置を低減する。
• 観察者エージェントは、独立して訓練された送信者・受信者ペアをテストすることでゼロショット協調を評価し、未観測の相手に対する分類精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 通信が連続的でエネルギーを要する関節軌道に基づく場合、身体的エージェントにおける顕在的通信プロトコルは、新規で独立して訓練された相手に対しても一般化可能か？
• RQ2 共通の知識に基づく環境的コスト（例：エネルギー）に通信を根ざさせることで、記号的チャネルなしでゼロショット協調がどのように可能になるか？
• RQ3 特に連続的かつ高次元の行動空間において、このようなプロトコルの学習における主な訓練課題は何か？
• RQ4 カリキュラムベースの訓練と潜在的監督は、共通のエネルギーに基づく協調構造の発見を向上させることができるか？
• RQ5 意図間のエネルギー順序の組み合わせ的性質が、最適化および収束に与える影響は何か？

主な発見

• ジプファニアン分布を用いた10意図タスクにおいて、ゼロショット協調精度は約34%に達し、最も頻度の高いクラスのベースライン精度に相当する。
• 軌道入力を単独で用いた訓練では、最適化中に特に低頻度の意図（例：4番目と5番目）に対して、意図のエネルギー順位が顕著に再配置されることが判明し、不安定性を示している。
• 訓練中に潜在的エネルギー監督を導入することで、最適化プロセスが安定化し、不要な意図エネルギーレベルの再順序付けが低減された。
• トルクベースのカリキュラム事前訓練フェーズは、特に複雑なタスク（N=10）において、ゼロショット一般化を顕著に向上させた。観察者が軌道入力を用いる場合に顕著であった。
• 最適化アルゴリズムは、誤って順序を入れ替えるコストが非常に高いことから、最も頻度の高い意図（意図1）に対して常に最低エネルギーコストを維持している。
• 結果から、エネルギーコストのような共通の知識に基づく環境的制約が、身体的システムにおける顕在的ゼロショット通信のための実用的で頑健な信号として機能できることを確認した。