[논문 리뷰] An Optimal Control Approach to the Persistent Monitoring Problem

Christos G. Cassandras, Xuchao Lin외 1명|arXiv (Cornell University)|2012. 02. 28.

Distributed Control Multi-Agent Systems참고 문헌 20인용 수 3

한 줄 요약

이 논문은 1차원 미션 공간에서 이동하는 에이전트를 사용한 지속 모니터링을 위한 최적 제어 프레임워크를 제안한다. 불확실성은 동적 큐잉 시스템으로 모델링되며, 문제는 스위칭 포인트와 대기 시간에 대한 매개변수 최적화로 축소된다. 무한소 변화량 분석(IPA)을 사용한 기울기 기반 최적화를 통해, 에이전트는 끝점들을 피하고 내부 위치에서 스위칭해야 총 불확실성을 시간에 따라 최소화할 수 있음을 입증한다.

ABSTRACT

We propose an optimal control framework for persistent monitoring problems where the objective is to control the movement of mobile nodes to minimize an uncertainty metric in a given mission space. For multi agent in a one-dimensional mission space, we show that the optimal solution is obtained in terms of a sequence of switching locations and waiting time on these switching points, thus reducing it to a parametric optimization problem. Using Infinitesimal Perturbation Analysis (IPA) we obtain a complete solution through a gradient-based algorithm. We also discuss a receding horizon controller which is capable of obtaining a near-optimal solution on-the-fly.

연구 동기 및 목표

• 동적으로 변화하는 환경을 모니터링하는 이동 에이전트에 의해 축적된 불확실성을 최소화하는 제어 전략을 개발한다.
• 모든 영역가 무한히 자주 방문되도록 에이전트의 이동을 균형 잡는 문제를 해결하며, 센서 감지 및 운동 제약 조건을 고려한다.
• 복잡한 최적 제어 문제를 스위칭 위치와 체류 시간에 대한 매개변수 최적화로 축소한다.
• 재정의된 수평 제어기를 통해 실시간 제어를 가능하게 하여 근사 최적 성능를 달성한다.
• 최적 궤적에 대해 전속도 운동, 내부 지점에서의 스위칭, 비영인 대기 시간을 포함하는 이론적 조건을 설정한다.

제안 방법

• 1차원 미션 공간에서 시간 통합 불확실성 지표 최소화를 통해 지속 모니터링 문제를 수립한다.
• 에이전트가 샘플링 포인트를 방문하는 서버 역할을 하며, 불확실성 증가 및 감소를 큐잉 과정으로 모델링한다.
• 최적 제어 문제를 스위칭 포인트 $\theta_k$와 대기 시간 $w_k$에 대한 매개변수 최적화로 축소한다.
• 비용 함수의 매개변수에 대한 기울기를 계산하기 위해 일반화된 무한소 변화량 분석(IPA)을 적용한다.
• Armijo 선 탐색을 사용한 기울기 기반 알고리즘을 통해 스위칭 위치와 대기 시간을 반복적으로 갱신한다.
• 유한 수평 문제의 순차적 해결을 통해 실시간으로 근사 최적 제어를 가능하게 하는 재정의된 수평 제어기를 개발한다.

실험 결과

연구 질문

• RQ1 1차원 환경에서 동적 불확실성을 가진 환경을 모니터링하는 단일 에이전트의 최적 궤적은 어떻게 구성되는가?
• RQ2 최적 제어 문제는 어떻게 스위칭 포인트와 대기 시간에 대한 매개변수 최적화로 축소될 수 있는가?
• RQ3 지속 모니터링 맥락에서 불연속적인 동역학을 가진 하이브리드 시스템에 대해 IPA가 효과적으로 기울기를 계산하는 데 사용될 수 있는가?
• RQ4 최적 해에서 에이전트가 미션 공간의 경계 포인트를 피하는 조건은 무엇인가?
• RQ5 센서 감지 효율성의 확률적 변동에 대해 IPA 기반 최적화는 얼마나 강인한가?

주요 결과

• 각 에이전트의 최적 궤적은 스위칭 포인트까지 전속도 운동, 그 후 음이 아닌 대기 시간, 그리고 방향 전환으로 구성되며, 미션 공간의 경계 포인트에 도달하지는 않는다.
• 스위칭 포인트와 대기 시간의 최적 선택을 통해 총 불확실성 비용이 크게 감소하며, 단일 및 이중 에이전트 시뮬레이션 모두에서 감소가 관찰된다.
• 20개의 샘플링 포인트가 있는 단일 에이전트 케이스에서, 에이전트가 전체 간격 $[0,20]$에 접근할 수 있을 경우 최적 비용 $J^* = 17.77$이며, $[4,16]$로 제한된 경우 $J^* = 39.14$이다.
• 센서 감지 효율성 $A_i(t)$가 시간에 따라 무작위로 변하는 확률적 환경에서도 IPA 기반 알고리즘이 여전히 근사 최적 해 $J^* = 17.54$로 수렴함을 보여, 강인성을 입증한다.
• Armijo 스텝 크기를 사용할 경우, 비연속적인 비용 함수가 있는 확률적 케이스에서도 약 10~15초 내에 알고리즘이 수렴함을 확인하여 계산 가능성을 입증한다.
• 특히 센서 범위가 경계 근처에서 제한적일 경우, 시뮬레이션을 통해 스위칭 포인트에서 엄밀히 양의 대기 시간이 존재함을 확인한다.