[논문 리뷰] Learning to Resolve Conflicts for Multi-Agent Path Finding with Conflict-Based Search

Taoan Huang, Bistra Dilkina외 1명|arXiv (Cornell University)|2020. 12. 10.

Robotic Path Planning Algorithms참고 문헌 23인용 수 5

한 줄 요약

이 논문은 다중 에이gent 경로 찾기(MAPF)를 위한 충돌 기반 탐색(CBS)에서 충돌 선택을 향상시키기 위해 기계학습 프레임워크를 제안한다. 이는 빠르고 일반화 능력이 뛰어난 선형 순위 함수를 학습하기 위해 오라클을 활용한다. 제안된 방법은 탐색 트리 크기와 실행 시간을 크게 줄이며, 다양한 벤치마크 지도에서 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Conflict-Based Search (CBS) is a state-of-the-art algorithm for multi-agent path finding. At the high level, CBS repeatedly detects conflicts and resolves one of them by splitting the current problem into two subproblems. Previous work chooses the conflict to resolve by categorizing the conflict into three classes and always picking a conflict from the highest-priority class. In this work, we propose an oracle for conflict selection that results in smaller search tree sizes than the one used in previous work. However, the computation of the oracle is slow. Thus, we propose a machine-learning framework for conflict selection that observes the decisions made by the oracle and learns a conflict-selection strategy represented by a linear ranking function that imitates the oracle's decisions accurately and quickly. Experiments on benchmark maps indicate that our method significantly improves the success rates, the search tree sizes and runtimes over the current state-of-the-art CBS solver.

연구 동기 및 목표

• 기존 CBS에서 충돌 선택 전략이 고정된 우선순위 규칙에 의존하여 큰 탐색 트리로 이어질 수 있는 비효율성을 해결하기 위해.
• 계산적으로 비용이 많이 들지만 최적인 충돌 선택 오라클의 대안으로서 더 빠르고 일반화 능력이 뛰어난 방법을 개발하기 위해.
• 기계학습을 활용해 오라클의 결정을 모방하면서도 실시간 사용에 적합한 순위 함수를 학습하기 위해.
• 재학습 없이도 새로운 지도와 에이전트 수에 일반화할 수 있도록 하기 위해.
• MAPF 문제를 해결할 때 성공률, 탐색 트리 크기, 실행 시간을 향상시키기 위해.

제안 방법

• 1단계 레이어 히우리스틱을 사용해 최적 비용의 하한을 최소화하는 충돌 선택 오라클를 설계한다.
• 다양한 MAPF 인스턴스에서 오라클의 충돌 선택을 관찰하여 학습 데이터를 수집하고, 각 충돌에 대해 특징을 추출한다.
• 문제 특화 특징을 사용해 오라클의 결정을 모방하는 선형 순위 함수를 학습하기 위해 지도 학습 기반 기계학습 모델을 훈련시킨다.
• 학습된 순위 함수를 사용해 CBS에서 충돌 선택을 안내하며, 실행 속도 향상을 위해 오라클을 대체한다.
• 학습된 전략을 CBS에 통합하여, 재학습 없이도 새로운 지도와 에이전트 수에 일반화할 수 있도록 한다.
• 가중치가 부여된 의존성 그래프 간선, 충돌의 기수, 에이전트 충돌 빈도 등의 특징을 순위 함수에 통합한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 CBS에서 최적이지만 느린 충돌 선택 오라클를 효과적으로 모방할 수 있는가?
• RQ2 학습된 충돌 선택 전략은 다양한 수의 에이전트와 미리보지 않은 지도에서 일반화 가능한가?
• RQ3 학습된 전략은 최신 기술 대비 탐색 트리 크기와 실행 시간을 줄일 수 있는가?
• RQ4 CBS에서 효과적인 충돌 선택을 예측하는 데 가장 중요한 특징는 무엇인가?
• RQ5 고정 우선순위 충돌 선택 전략 대비 기계학습 기반 접근 방식의 성공률과 효율성은 어떻게 비교되는가?

주요 결과

• 기계학습 기반 충돌 선택 전략인 ML-S와 ML-O는 각각 6,000개의 벤치마크 인스턴스 중 3,779개와 3,758개를 해결했으며, CBSH2의 3,326개 대비 10.3%에서 64.4%까지 실행 시간을 개선했고, 탐색 트리 크기는 13.0%에서 68.2%까지 감소시켰다.
• ML-S는 고정된 에이전트 수로 훈련된 후에도 동일한 지도에서 더 많은 에이전트 수에 대해 잘 일반화되어, 강력한 일반화 능력을 보였다.
• ML-O는 테스트 지도를 볼 수 없도록 훈련했음에도 창고, 도시, 미로, 게임 지도에서 ML-S와 동일하거나 뛰어난 성능을 보여, 지도 간 일반화 능력이 뛰어나다는 것을 입증했다.
• 학습된 순위 함수에서 상위 특징들은 충돌 기수, 가중치가 부여된 의존성 그래프 간선, 에이전트 충돌 빈도와 관련이 있었으며, 이는 MILP 해법에서의 가짜비용(pseudocosts)과 유사했다.
• 특징 선택 분석 결과, 가장 중요한 특징들(예: WDG 간선 가중치, 충돌 빈도)을 조합하면 성능이 약간 향상되어 특징의 관련성이 확인되었다.
• 특히 더 많은 에이전트를 포함한 어려운 인스턴스에서 뚜렷한 성능 향상을 기록했으며, CBSH2가 어려움을 겪는 상황에서도 ML-S와 ML-O는 높은 성공률을 유지했다.