[論文レビュー] Cooperative Motion Planning for Non-Holonomic Agents with Value Iteration Networks

Eike Rehder, Maximilian Naumann+2 more|arXiv (Cornell University)|Sep 15, 2017

Robotic Path Planning Algorithms参考文献 9被引用数 4

ひとこと要約

本稿では、勾配降下法で訓練された相互接続された価値反復ネットワーク（VINs）を用いて、非ホロノミックなロボットの協調的運動計画フレームワークを提案する。非ホロノミック制約は方向付き状態グリッドでモデル化され、エージェント間の相互コストペナルティが課されることで、狭い通路を通過する、または通過地点で譲り合うといった複雑な協調タスクを効率的かつ分散型に解決する軌道計画が可能になる。シミュレーション結果では、明示的な協調信号がなくても協調が成功していることが示された。

ABSTRACT

Cooperative motion planning is still a challenging task for robots. Recently, Value Iteration Networks (VINs) were proposed to model motion planning tasks as Neural Networks. In this work, we extend VINs to solve cooperative planning tasks under non-holonomic constraints. For this, we interconnect multiple VINs to pay respect to each other's outputs. Policies for cooperation are generated via iterative gradient descend. Validation in simulation shows that the resulting networks can resolve non-holonomic motion planning problems that require cooperation.

研究の動機と目的

• 共有で制約のある環境における複数の非ホロノミックロボットの協調的運動計画の課題に対処すること。
• 方向依存の状態遷移を組み込むことで、価値反復ネットワーク（VINs）を非ホロノミック制約をモデル化するために拡張すること。
• 勾配降下フレームワーク内で相互コストペナルティを用いることで、明示的通信なしに分散型の協調を実現すること。
• 学習された方策が、狭い通路や通過地点での譲り合いといった複雑な協調タスクを解決できることを示すこと。
• 計画とソフト制約、動的コスト適応の組み合わせにより、自動車プラトーンや都市内ナビゲーションなどの実世界応用に適用可能であるようにすること。

提案手法

• 本手法は、標準的なVINsを拡張し、離散的な方向（例：45°間隔の8方向）を含む3次元グリッド表現を導入して、非ホロノミックな運動制約をモデル化する。
• 各エージェントは個別のVINとしてモデル化され、直進、斜め左、斜め右、待機といった行動のための状態遷移フィルタを備えたグリッドマップ上で前向き価値反復を実行する。
• トレーニング中にエージェント間のVINに相互コストペナルティを課す。各エージェントのコスト関数には、他方のエージェントの軌道と重複する場合のペナルティが含まれ、協調を促進する。
• 行動価値のソフトミニマムを用いて方策を生成し、最終的な行動は学習された注目重みに基づいて選択される。これにより滑らかで微分可能な方策出力が可能になる。
• 静的占有グリッドを用い、障害物回避をソフト制約として実装する。障害物との衝突コストは遷移コストの100倍に重み付けされる。
• トレーニングは、各VINが相手の予測軌道に基づいて方策を更新する、連続的な勾配降下法により実行され、協調が自然に出現する。

実験結果

リサーチクエスチョン

• RQ1 価値反復ネットワークは、マルチエージェントシステムにおける非ホロノミックな運動制約をモデル化するために拡張可能か？
• RQ2 明示的通信や集中型調整なしに、マルチエージェント運動計画における協調行動はどのようにして出現するか？
• RQ3 微分可能なフレームワーク内での相互コストペナルティは、制約のある環境で効果的で衝突のない協調を実現できるか？
• RQ4 時間的協調が求められるシナリオ（例：狭い通路や通過地点での譲り合い）において、本手法はどのように性能を発揮するか？
• RQ5 エージェントが互いに到達不能である場合や、制御へのアクセスが非対称である場合にも、本手法は一般化可能か？

主な発見

• 単一エージェントの旋回タスクにおいて、非ホロノミック制約に整合する円形軌道が正しく生成され、タスクが成功した。
• 二エージェントシナリオでは、狭い通路に近いロボットが優先的に通過するようネットワークが適切に判断し、効果的な協調を示した。
• 通過地点が利用可能な場合、ロボット1がロボット2に譲る形で協調が実現され、合計コストが最小化され、デッドロックを回避した。
• 非ホロノミック制約により通路に到達できない場合、ネットワークは単一エージェントの解決策に自動的に戻り、制約違反に対してもロバストであることを示した。
• ソフトミニマムと微分可能なコスト関数の使用により、滑らかな方策学習とエージェント間での効果的な勾配ベース最適化が可能になった。
• 協調は明示的な協調信号や共有計画を必要とせず、相互コストペナルティから自然に出現することが実証された。