[論文レビュー] IndoorR2X: Indoor Robot-to-Everything Coordination with LLM-Driven Planning

Fan Yang, Soumya Teotia+9 more|arXiv (Cornell University)|Mar 20, 2026

Robotics and Sensor-Based Localization被引用数 0

ひとこと要約

IndoorR2Xは、オンボードの知覚と静的IoTセンサを統合してグローバルなセマンティック状態を形成し、部分観測下での協調を改善するLLM駆動の屋内ロボット計画のベンチマークとフレームワークを導入する。IoT補強の世界モデル化は経路長・行動・LLMトークンコストを削減しつつ高い成功率を維持する。

ABSTRACT

Although robot-to-robot (R2R) communication improves indoor scene understanding beyond what a single robot can achieve, R2R alone cannot overcome partial observability without substantial exploration overhead or scaling team size. In contrast, many indoor environments already include low-cost Internet of Things (IoT) sensors (e.g., cameras) that provide persistent, building-wide context beyond onboard perception. We therefore introduce IndoorR2X, the first benchmark and simulation framework for Large Language Model (LLM)-driven multi-robot task planning with Robot-to-Everything (R2X) perception and communication in indoor environments. IndoorR2X integrates observations from mobile robots and static IoT devices to construct a global semantic state that supports scalable scene understanding, reduces redundant exploration, and enables high-level coordination through LLM-based planning. IndoorR2X provides configurable simulation environments, sensor layouts, robot teams, and task suites to systematically evaluate high-level semantic coordination strategies. Extensive experiments across diverse settings demonstrate that IoT-augmented world modeling improves multi-robot efficiency and reliability, and we highlight key insights and failure modes for advancing LLM-based collaboration between robot teams and indoor IoT sensors.

研究の動機と目的

• 屋内のマルチロボット系で部分観測性に対処する動機づけとして、既存のIoTセンシングを活用して知覚を補強する。
• IndoorR2Xを、現実的な知覚限界を課すベンチマークとシミュレーションフレームワークとして導入する。
• ロボットデータとIoTデータを統合したグローバルなセマンティック状態に基づくオンラインLLM計画機を開発する。
• IoT補強の世界モデル化が、成功率を犠牲にすることなく効率と計画コストを改善することを示す。

提案手法

• 協調ハブを介してモバイルロボットと静的IoTデバイスの観測を統合するグローバルなセマンティック状態を作成する。
• serializationされたタスクと世界状態から依存グラフ計画を生成するオンライン計画機としてLLMを使用する。
• 依存制約とスキル適合に基づき、アイドル状態のロボットに並列的な行動を配分する。
• イベントを非同期に監視し、失敗時またはIoT更新時に再計画をトリガーする。
• IoT由来のプライア（例：視覚言語モデルで処理されたCCTVログ）を組み込み、探索を絞り込みナビゲーションを誘導する。

Figure 1: Motivation for IndoorR2X. Augmenting robot perception with global IoT context via LLMs for efficient coordination.

実験結果

リサーチクエスチョン

• RQ1 IoT補強知覚（R2X）が部分観測下でのマルチロボット協調に与える影響は。
• RQ2 IoT遅延とセンサー信頼性が計画効率と成功率に及ぼす影響は。
• RQ3 異なるLLMとモデル規模がR2X対応の屋内協調の性能に及ぼす影響は。
• RQ4 IoT結合状態表現における探索、経路長、トークンコストのトレードオフは。

主な発見

Configuration	Success Rate ↑	Avg. Action Steps/Scene ↓	Avg. Path Length/Scene ↓	Avg. LLM Tokens/Scene ↓
SMART-LLM (Adapted) [15]	88%	124	119 m	43,397
EMOS (Adapted) [7]	88%	135	122 m	51,394
IR (Isolated)	66%	186	137 m	54,572
R2R (w/o X Comm.)	92%	116	99 m	47,875
R2X	92%	108	88 m	42,438

• IoT補強の世界モデル化はR2Rベースラインと比較して経路長と行動ステップを減少させる。
• R2Xはトップベースラインと同等の高い成功率を達成しつつ、LLMトークン使用を11%以上削減。
• ロボット間共有は成功率を大幅に改善し、IoTデータは実現可能性を犠牲にせずさらに効率化を提供。
• IoT遅延の増加は性能を低下させる；遅延が大きいと経路長と行動数が増加する。
• より大きなLLM（例：GPT-4.1）は信頼性を高める（最大92% SR）傾向があり、モデルによりトークンコストは異なる。

Figure 2: Our IndoorR2X framework. CCTV observations and other IoT device signals are collected to augment the world model beyond the perception range of the robots’ ego cameras. These heterogeneous observations are synchronized through a coordination hub, where an LLM-based online planner generates