[논문 리뷰] STyLuS*: A Temporal Logic Optimal Control Synthesis Algorithm for Large-Scale Multi-Robot Systems

Yiannis Kantaros, Michael M. Zavlanos|arXiv (Cornell University)|2018. 09. 21.

Formal Methods in Verification인용 수 6

한 줄 요약

STyLuS*는 대규모 다중로봇 시스템을 위한 샘플링 기반 최적 제어 합성 알고리즘으로, 브레우어 오ート마타의 수락 상태에 가까운 상태를 우선시하는 샘플링 과정의 편향을 활용하여, 최대 10^800개 상태를 가진 제품 오ート마타에 대해 점근적으로 최적이고 확률적으로 완전한 계획을 가능하게 한다. 이는 기존 방법의 능력을 크게 초월한다.

ABSTRACT

This paper proposes a new highly scalable and asymptotically optimal control synthesis algorithm from linear temporal logic specifications, called $\ ext{STyLuS}^{*}$ for large-Scale optimal Temporal Logic Synthesis, that is designed to solve complex temporal planning problems in large-scale multi-robot systems. Existing planning approaches with temporal logic specifications rely on graph search techniques applied to a product automaton constructed among the robots. In our previous work, we have proposed a more tractable sampling-based algorithm that builds incrementally trees that approximate the state-space and transitions of the synchronous product automaton and does not require sophisticated graph search techniques. Here, we extend our previous work by introducing bias in the sampling process which is guided by transitions in the B$\\ddot{\ ext{u}}$chi automaton that belong to the shortest path to the accepting states. This allows us to synthesize optimal motion plans from product automata with hundreds of orders of magnitude more states than those that existing optimal control synthesis methods or off-the-shelf model checkers can manipulate. We show that $\ ext{STyLuS}^{*}$ is probabilistically complete and asymptotically optimal and has exponential convergence rate. This is the first time that convergence rate results are provided for sampling-based optimal control synthesis methods. We provide simulation results that show that $\ ext{STyLuS}^{*}$ can synthesize optimal motion plans for very large multi-robot systems which is impossible using state-of-the-art methods.

연구 동기 및 목표

• 선형 시간 논리(LTL) 사양을 가진 대규모 다중로봇 시스템에 대해 기존 최적 제어 합성 방법의 확장성 한계를 해결한다.
• 로봇 전이 시스템과 LTL 작업을 나타내는 비결정성 브레우어 오차마타(NBA)가 결합하여 생성되는 제품 오차마타의 지수적 상태공간 증가 문제를 극복한다.
• 명시적인 제품 오차마타 구축을 피하면서도 최적성과 완전성 보장을 유지하는 샘플링 기반 방법을 개발한다.
• 가장 짧은 경로 거리 측도를 기반으로 하여 수락 상태에 가까운 PBA 상태를 우선시하는 편향된 샘플링 분포를 도입하여 최적 해에의 수렴 속도를 가속화한다.
• 샘플링 기반 최적 제어 합성의 이론적 수렴 속도 한계를 제공하며, 이는 분야에서 처음으로 이루어진다.

제안 방법

• 개별 로봇 전이 시스템과 LTL 사양에서 유도된 NBA로부터 동기식 제품 브레우어 오차마타(PBA)를 구성한다.
• 사용할 수 없는 전이를 제거하여 NBA를 정리함으로써 상태공간 복잡도를 감소시킨다.
• 수락 상태까지의 최단 경로(최소 전이 수)를 계산하는 메트릭을 NBA 상태공간에 정의한다.
• 이 최단 경로 메트릭을 기반으로 수락 상태에 가까운 PBA 상태를 우선시하는 편향된 샘플링 분포를 설계한다.
• 명시적 그래프 표현을 피하기 위해, PBA의 상태공간과 전이를 근사하는 점진적인 방식의 트리 기반 샘플링 프레임워크를 사용한다.
• 이전 연구에서 유도된 샘플링 가정을 유지하면서도, 유한 확률 분포를 통해 편향을 도입함으로써 확률적 완전성과 점근적 최적성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 최적 합성 방법보다 훨씬 큰 상태공간을 가진 제품 오차마타에 대해, 샘플링 기반 방법이 점근적으로 최적성과 확률적 완전성을 유지하면서도 확장성 있는 성능을 발휘할 수 있는가?
• RQ2 수락 상태까지의 최단 경로 메트릭을 기반으로 샘플링 과정에 편향을 도입할 경우, 최적 시간 논리 제어 합성에서 수렴 속도와 해 품질이著명하게 향상되는가?
• RQ3 제안된 알고리즘이 최대 10^800개 상태를 가진 제품 오차마타를 처리할 수 있는가? 이는 상용 모델 체커와 최신 최적 합성 도구의 한계를 크게 초월한다.
• RQ4 샘플링 기반 최적 제어 합성 알고리즘의 이론적 수렴 속도는 무엇이며, 지수 수렴을 증명할 수 있는가?
• RQ5 편향된 샘플링과 균일한 샘플링 간에 트리 크기, 경로 길이, PBA 내 타당한 프리픽스 경로 탐지 능력 측면에서 어떤 차이가 있는가?

주요 결과

• STyLuS*는 확률적으로 완전하고 점근적으로 최적이다. 이는 이전 샘플링 기반 방법에 기반하여 유도된 보장을 그대로 이어받는다.
• 알고리즘은 지수 수렴 속도를 달성하였으며, 샘플링 기반 최적 제어 합성 방법에 대해 이론적 수렴 한계를 제공하는 첫 사례이다.
• STyLuS*는 최대 10^800개 상태를 가진 제품 오차마타에 대해 최적의 운동 계획을 합성할 수 있으며, 이는 기존 최적 합성 알고리즘이 처리할 수 있는 범위보다 수백 개 오더 큰 규모이다.
• 편향된 샘플링을 통해 n_max^pre = 1000일 때 평균 트리 크기가 균일 샘플링 대비 4000개 노드에서 2000개 노드로 감소하였으며, 이는 최단 경로 근처에 집중된 탐색 덕분이다.
• 시뮬레이션 결과에 따르면, q_B^{F,feas} = 6 및 9일 때 편향된 샘플링이 균일 샘플링보다 짧은 길이 K의 타당한 프리픽스 경로를 더 일찍 탐지한다.
• 최종 상태가 동일한 경우에도, 수락 상태 쪽으로의 집중적 탐색 덕분에 편향된 샘플링에서 성공 확률 Pi_suc(q_P^K)이 더 높다.