[논문 리뷰] Optimal Event-Driven Multi-Agent Persistent Monitoring of a Finite Set of Targets

Nan Zhou, Xi Yu외 2명|arXiv (Cornell University)|2016. 03. 14.

Distributed Control Multi-Agent Systems참고 문헌 18인용 수 3

한 줄 요약

이 논문은 1차원 공간에서 유한한 수의 목표를 지속적으로 모니터링하기 위해, 무한소 변동 분석 (IPA)을 사용하는 이벤트 기반, 기울기 기반 제어 프레임워크를 제안한다. 최적 제어 문제를 스위칭 포인트와 체류 시간에 대한 매개변수 최적화 문제로 재구성하고, 기울기 자극을 보장하기 위해 퍼텐셜장 기반 비용 척도를 도입함으로써, 근사 최적의 불확실성 감소를 위한 안정적이고 온라인 수렴을 달성한다. 시뮬레이션을 통해 그래프 기반 스케줄링과 비교했을 때 거의 최적의 성능을 보여줌으로써 검증되었다.

ABSTRACT

We consider the problem of controlling the movement of multiple cooperating agents so as to minimize an uncertainty metric associated with a finite number of targets. In a one-dimensional mission space, we adopt an optimal control framework and show that the solution is reduced to a simpler parametric optimization problem: determining a sequence of locations where each agent may dwell for a finite amount of time and then switch direction. This amounts to a hybrid system which we analyze using Infinitesimal Perturbation Analysis (IPA) to obtain a complete on-line solution through an event-driven gradient-based algorithm which is also robust with respect to the uncertainty model used. The resulting controller depends on observing the events required to excite the gradient-based algorithm, which cannot be guaranteed. We solve this problem by proposing a new metric for the objective function which creates a potential field guaranteeing that gradient values are non-zero. This approach is compared to an alternative graph-based task scheduling algorithm for determining an optimal sequence of target visits. Simulation examples are included to demonstrate the proposed methods.

연구 동기 및 목표

• 1차원 임무 공간에서 다수의 협력하는 에이전트를 사용하여 유한한 수의 동적 목표를 지속적으로 모니터링하는 것을 다루기.
• 목표 상태와 관련된 시스템 전체의 불확실성 척도를 최소화하기 위해 최적의 에이전트 궤적 제어를 수행하기.
• 기존 IPA 수식에서 이벤트 자극 부족으로 인한 기울기 기반 최적화 실패 문제를 해결하기.
• 스토케스틱 불확실성 모델 하에서도 안정적인 스케일러블 온라인 제어 전략 개발하기.
• 이벤트 기반 IPA 방법의 성능을 그래프 기반 작업 스케줄링 대안과 비교하기.

제안 방법

• 목표 불확실성에 기반한 비용 함수를 사용하여 지속적 모니터링 문제를 최적 제어 문제로 재구성한다.
• 에이전트 궤적을 하이브리드 시스템으로 특성화하기 위해 스위칭 포인트와 체류 시간에 대한 매개변수 최적화 문제로 최적 제어 문제를 축소한다.
• 비용 함수의 궤적 매개변수에 대한 온라인 기울기 계산을 위해 무한소 변동 분석 (IPA)을 적용한다.
• 에이전트가 초기에 목표를 놓쳤을 경우에도 비영인 기울기와 이벤트 자극을 보장하기 위해 수정된 비용 척도 $ J_2(\bm{\theta}, \bm{\omega}, t) $ 를 도입한다.
• 이벤트 트리거드 IPA에 의해 구동되는 기울기 하강 알고리즘을 사용하여 궤적을 최적화 방향으로 반복적으로 조정한다.
• 결정론적 및 스토케스틱 설정 모두에서 시뮬레이션을 통해 접근 방식을 검증하였으며, 이는 랜덤한 목표 역학과 위치를 포함한다.

실험 결과

연구 질문

• RQ1 1차원에서의 다중 에이전트 지속 모니터링을 위한 최적 제어 문제는 스위칭 포인트와 체류 시간에 대한 매개변수 최적화 문제로 축소될 수 있는가?
• RQ2 목표 방문 이벤트가 발생하지 않아 기울기가 0이 되는 상황에서, IPA 기반 기울기 추정이 어떻게 안정적으로 유지될 수 있는가?
• RQ3 제안된 이벤트 기반 IPA 방법은 그래프 기반 작업 스케줄링 대비 어떤 성능 향상을 보이는가?
• RQ4 제안된 퍼텐셜장 비용 척도는 목표 방문 없이도 기울기 자극과 수렴을 어떻게 보장하는가?
• RQ5 목표 역학과 위치에 대한 스토케스틱 불확실성 모델 하에서 IPA 기반 제어기가 얼마나 안정적인가?

주요 결과

• 최적의 에이전트 궤적은 목표 위치들의 볼록 hull 내에 제한되며, 이는 이론적 수렴 한계를 확인한다.
• 이중 에이전트, 오각형 목표 시뮬레이션에서 IPA 기반 제어기는 최종 비용 4.99를 달성하였으며, 그래프 기반 방법의 4.92와 매우 유사하였다.
• 균일 분포 불확실성 유입률($A_i \sim U(0,2)$)이 있는 스토케스틱 시뮬레이션에서 IPA 비용은 42.46이었으며, 결정론적 최적 비용 29.40과 유사하였다.
• 목표 위치가 무작위로 편향된 경우($\sim U(x_i \pm 0.25)$), IPA 비용은 34.89였으며, 다시 한번 결정론적 최적값 근처에 있었다.
• $J_2$ 퍼텐셜장 척도의 포함으로 인해, 목표에서 멀리 떨어진 초기 궤적에서도 수렴이 가능했으며, 100회 반복 후 비용이 30.24에서 30.24로 유지되었다.
• 스토케스틱 불확실성에 대한 저항성은 입증되었으며, 수렴 속도는 랜덤 과정의 분산에 따라 달라졌다.