[論文レビュー] Learning to Resolve Conflicts for Multi-Agent Path Finding with Conflict-Based Search

Taoan Huang, Bistra Dilkina+1 more|arXiv (Cornell University)|Dec 10, 2020

Robotic Path Planning Algorithms参考文献 23被引用数 5

ひとこと要約

本稿では、マルチエージェントパスファインディング（MAPF）における衝突ベースサーチ（CBS）の衝突選択を改善するための機械学習フレームワークを提案する。この手法は、最適だが計算コストの高い衝突選択オラクルを模倣する高速で汎用性のある線形ランク関数を学習する。提案手法は、探索木のサイズと実行時間を顕著に削減し、複数のベンチマークマップで最先端のCBSソルバーを上回る性能を示した。

ABSTRACT

Conflict-Based Search (CBS) is a state-of-the-art algorithm for multi-agent path finding. At the high level, CBS repeatedly detects conflicts and resolves one of them by splitting the current problem into two subproblems. Previous work chooses the conflict to resolve by categorizing the conflict into three classes and always picking a conflict from the highest-priority class. In this work, we propose an oracle for conflict selection that results in smaller search tree sizes than the one used in previous work. However, the computation of the oracle is slow. Thus, we propose a machine-learning framework for conflict selection that observes the decisions made by the oracle and learns a conflict-selection strategy represented by a linear ranking function that imitates the oracle's decisions accurately and quickly. Experiments on benchmark maps indicate that our method significantly improves the success rates, the search tree sizes and runtimes over the current state-of-the-art CBS solver.

研究の動機と目的

• 既存のCBSにおける衝突選択戦略の非効率性に起因する固定優先順位ルールに起因する大きな探索木の問題を解決すること。
• 計算コストが高く、実用的でないが最適な衝突選択オラクルの高速で汎用性のある代替手法を開発すること。
• 機械学習を活用し、実行時に高速に動作可能なランク関数を学習し、オラクルの意思決定を模倣すること。
• 再トレーニングなしに、異なるエージェント数や未観測のグリッドマップに対しても汎用性を発揮できるようにすること。
• CBSにおける成功確率、探索木のサイズ、実行時間を向上させること。

提案手法

• 1ステップ先読みヒューリスティクスを用いて、最適コストの下界を最小化するように衝突選択を行うオラクルを設計する。
• 多様なMAPFインスタンス上でオラクルの衝突選択を観測し、各衝突に対して特徴量を抽出することでトレーニングデータを収集する。
• 問題固有の特徴量を用いて、オラクルの意思決定を模倣する線形ランク関数を教師あり機械学習モデルで学習する。
• 学習されたランク関数を用いてCBSにおける衝突選択をガイドし、実行速度を向上させるためにオラクルを置き換える。
• 学習済み戦略をCBSに統合し、再トレーニングなしに新しいマップやエージェント数に対しても汎用性を発揮できるようにする。
• 重み付き依存性グラフエッジ、衝突の基数、エージェントの衝突頻度などの特徴量をランク関数の情報源として用いる。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、MAPFにおけるCBSで最適だが遅い衝突選択オラクルを模倣できるか？
• RQ2 学習された衝突選択戦略は、異なるエージェント数や未観測のグリッドマップに対しても汎用性を示せるか？
• RQ3 学習された戦略は、最先端のCBSソルバーと比較して、探索木のサイズと実行時間を短縮できるか？
• RQ4 CBSにおける効果的な衝突選択を予測する上で、最も予測力のある特徴量は何か？
• RQ5 固定優先順位の衝突選択と比較して、MLガイドドアプローチの成功確率と効率性はどのように異なるか？

主な発見

• MLガイドド衝突選択戦略（ML-S と ML-O）は、それぞれ6,000件のベンチマークインスタンスのうち3,779件、3,758件を解決した。これはCBSH2の3,326件を上回り、実行時間は10.3%〜64.4%改善され、探索木のサイズは13.0%〜68.2%削減された。
• ML-Sは、同じマップ上でエージェント数を増やしても、トレーニング時に固定されたエージェント数に依存せず、良好な汎用性を示した。
• ML-Oはテストマップをトレーニング時に一度も見ずに学習したが、倉庫、都市、迷路、ゲームマップでML-Sと同等または上回り、マップ間での強い汎用性を示した。
• 学習されたランク関数で上位に来る特徴量は、衝突の基数、重み付き依存性グラフエッジ、エージェントの衝突頻度であり、これらはMILPソルブィングにおける疑似コストと類似していた。
• 特徴量選択の結果、特に重要な特徴量（例：WDGエッジ重み、衝突頻度）を組み合わせることで性能がわずかに向上した。これは特徴量の関連性を裏付けた。
• 特にエージェント数が多いハードなインスタンスにおいて顕著な性能向上を達成した。CBSH2が苦戦する中で、ML-SとML-Oは高い成功確率を維持した。