[論文レビュー] Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning

Wenhao Li, Dan Qiao+4 more|arXiv (Cornell University)|May 18, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

SAMAは、事前学習された言語モデルにおけるチェーン・オブ・トゥグラウト・プロンプティングを活用して、状態に応じて高レベルの目標を生成・分解・割り当てるとともに、自己の反省に基づく再計画を可能にする、マルチエージェント強化学習における画期的な意味的整合性のあるタスク分解フレームワークを提案する。本手法は、OvercookedおよびMiniRTSで先行手法に比べて約10%の学習データでさえもSOTAの性能を達成し、サンプル効率が顕著に向上した。

ABSTRACT

The difficulty of appropriately assigning credit is particularly heightened in cooperative MARL with sparse reward, due to the concurrent time and structural scales involved. Automatic subgoal generation (ASG) has recently emerged as a viable MARL approach inspired by utilizing subgoals in intrinsically motivated reinforcement learning. However, end-to-end learning of complex task planning from sparse rewards without prior knowledge, undoubtedly requires massive training samples. Moreover, the diversity-promoting nature of existing ASG methods can lead to the "over-representation" of subgoals, generating numerous spurious subgoals of limited relevance to the actual task reward and thus decreasing the sample efficiency of the algorithm. To address this problem and inspired by the disentangled representation learning, we propose a novel "disentangled" decision-making method, Semantically Aligned task decomposition in MARL (SAMA), that prompts pretrained language models with chain-of-thought that can suggest potential goals, provide suitable goal decomposition and subgoal allocation as well as self-reflection-based replanning. Additionally, SAMA incorporates language-grounded RL to train each agent's subgoal-conditioned policy. SAMA demonstrates considerable advantages in sample efficiency compared to state-of-the-art ASG methods, as evidenced by its performance on two challenging sparse-reward tasks, Overcooked and MiniRTS.

研究の動機と目的

• 報酬が疎である状況下における協調的マルチエージェント強化学習（MARL）における疎いクレジット割り当ての課題に対処すること。
• 既存の自動部分目標生成（ASG）手法の限界、特に不要な部分目標の過剰表現と低いサンプル効率を克服すること。
• 事前学習された言語モデル（PLM）を用い、チェーン・オブ・トゥグラウト・プロンプティングにより動的で意味的整合性のあるタスク分解と部分目標の割り当てを実現すること。
• 自己反省による再計画を統合することで、言語に根ざした強化学習と組み合わせてサンプル効率を向上させること。
• 部分目標の意味的根拠づけにより、手作業で設計されたルールやドメイン特化型報酬関数への依存を低減すること。

提案手法

• SAMAは、事前学習された言語モデル（PLM）を用いて、現在の環境状態に基づいて高レベルの目標を生成し、意味的に明確な部分目標に分解する。
• チェーン・オブ・トゥグラウト・プロンプティングを用いて、PLMが目標の分解、エージェントへの部分目標の割り当て、および部分目標の失敗時に自己反省を行うように誘導する。
• 部分目標は意味的パースィングにより環境状態に根拠づけられ、言語に根ざした報酬関数の構築を可能にし、ポリシー学習に用いる。
• 各エージェントは、言語に根ざした内発的報酬を用いて部分目標に条件づけられたポリシーで訓練され、部分目標の達成を促進する。
• 部分目標の失敗時にPLMを再プロンプトすることで動的再計画をサポートし、自己反省を組み込んで戦略を再修正する。
• 事前処理として、環境状態から相互作用可能なオブジェクトを抽出し、目標空間を制限することで、PLM入力における意味的曖昧さを低減する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルは、協調的MARLにおける意味的整合性のある部分目標の生成とタスクの分解を効果的に行えるか？
• RQ2 自己反省を伴うチェーン・オブ・トゥグラウト・プロンプティングは、報酬が疎な環境下での部分目標計画および再計画を向上させるか？
• RQ3 言語に根ざした内発的報酬設計は、MARLにおけるサンプル効率をどの程度向上させるか？
• RQ4 相互作用可能なオブジェクト抽出の導入は、PLMが生成する部分目標の質と効率にどのような影響を与えるか？
• RQ5 PLMのバージョン（例：GPT-3.5 対 GPT-4）および少数-shotプロンプティングの有無が、部分目標生成および全体的な性能に与える影響は何か？

主な発見

• SAMAは、OvercookedおよびMiniRTSで、先行SOTA手法が要する学習データの約10%でSOTAの性能を達成した。
• GPT-4はGPT-3.5を著しく上回り、OvercookedおよびMiniRTSの両環境で顕著な性能差が観察された。
• 言語モデルが生成する報酬関数は、MiniRTSでは手作業で設計された関数と同等の性能を示したが、Overcookedでは意味的複雑性が高いためわずかに劣った。
• 相互作用可能なオブジェクト抽出を省略すると顕著な性能低下が生じ、制限された入力空間がPLMの推論とポリシー学習を向上させることを示した。
• 3つの少数-shot例よりも1つの例を用いる方が、より良い性能とコスト効率を達成したため、より多くの例を追加しても利得が減少することが示唆された。
• 本手法はPLM出力のバイアスに対して頑健であるが、目標生成におけるステレオタイプの影響という社会的リスクが認識されており、実世界での展開にあたっては是正が必要である。