[論文レビュー] Dual-Quadruped Collaborative Transportation in Narrow Environments via Safe Reinforcement Learning

Zhezhi Lei, Zhihai Bi+2 more|arXiv (Cornell University)|Feb 18, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は、2台の四足ロボットが狭い環境を通じてペイロードを共同輸送するための、コスト–優位性分解と制約割り当てを用いた分散型安全強化学習フレームワークを提案する。シミュレーションと実世界の試験で、ベースラインより高い成功率と安全性を達成する。

ABSTRACT

Collaborative transportation, where multiple robots collaboratively transport a payload, has garnered significant attention in recent years. While ensuring safe and high-performance inter-robot collaboration is critical for effective task execution, it is difficult to pursue in narrow environments where the feasible region is extremely limited. To address this challenge, we propose a novel approach for dual-quadruped collaborative transportation via safe reinforcement learning (RL). Specifically, we model the task as a fully cooperative constrained Markov game, where collision avoidance is formulated as constraints. We introduce a cost-advantage decomposition method that enforces the sum of team constraints to remain below an upper bound, thereby guaranteeing task safety within an RL framework. Furthermore, we propose a constraint allocation method that assigns shared constraints to individual robots to maximize the overall task reward, encouraging autonomous task-assignment among robots, thereby improving collaborative task performance. Simulation and real-time experimental results demonstrate that the proposed approach achieves superior performance and a higher success rate in dual-quadruped collaborative transportation compared to existing methods.

研究の動機と目的

• 狭い環境での二台四脚ロボットの分散協調による安全性と高性能を動機づける。
• 共有報酬とコストを持つ完全協力的制約付きマルコフゲームとしてタスクを定式化する。
• 安全性を確保しつつ性能を向上させるためのコスト–優位性分解と制約割り当て機構を開発する。
• 信頼領域ベースのラグランジュ拡張学習フレームワークによる安定学習を実現する。
• シミュレーションと実世界実験を通じてベースラインより優れていることを示す。

提案手法

• タスクを二台のロボットが報酬RとコストCを共有する完全協力的制約付きマルコフゲームとしてモデリングする。
• 学習中に各エージェントの共有コストへの寄与を推定するためのコスト–優位性分解を導入する。
• 協調を導くためにジョイントコスト予算をロボット間に分配する制約割り当て機構を提案する。
• 報酬とコストの2つの別々のクリティックを用い、制約を課すラグランジュ法を適用した信頼領域ベースの学習フレームワークを適用する。
• ベイズ最適化によりエージェント間のチーム全体の制約予算を最適に割り当て、結合目的F(c_a,c_b)を最適化する。
• Isaac Gymを用いたシミュレーションおよびGo2ロボットを用いた実機実験で訓練・検証を行い、1.2mのペイロードを搬送する。

実験結果

リサーチクエスチョン

• RQ1 狭い環境での分散型デュアルロボット協調において、安全性（衝突回避）と高いタスク性能をどのように両立させるか。
• RQ2 コスト–優位性分解と制約割り当ては安定かつ効率的な学習と自律タスク割り当てを可能にするか。
• RQ3 提案フレームワークは報酬のみやペナルティベースのベースラインより安全性と効率性の指標で優れるか。
• RQ4 シミュレーションから実世界の物理ペイロードを用いた実験へどの程度転送できるか。

主な発見

Collision Rate %	Arrival Rate %	Trajectory Straightness	Time Consumption [s]
90.0	10.0	–	–
83.3	16.7	–	–
6.7	53.3	0.68	26.8
0.0	6.7	0.74	32.0
0.0	100.0	0.95	18.3

• 提案手法は学習中にベースラインより高いタスク報酬を達成しつつコスト（安全性）を低く維持する。
• ゲートシナリオで、手法は制約付き手法の中で最も低い衝突確率を示し、試行で100%到達率を達成する。
• 軌道直線性は提案手法が最も高く（0.95）、他はUCAで0.68、MACPOで0.74など。
• 他手法と比較して最速のタスク完了を達成（Time Consumption 18.3 s）。
• 実世界の実験では狭いゲートを通過するための適応的編成変化と安定した回廊走行を示し、安全性と協調性が改善。