[논문 리뷰] A Near-Optimal Separation Principle for Nonlinear Stochastic Systems Arising in Robotic Path Planning and Control

Mohammadhussein Rafieisakhaei, Suman Chakravorty외 1명|arXiv (Cornell University)|2017. 05. 24.

Stability and Control of Uncertain Systems참고 문헌 17인용 수 5

한 줄 요약

이 논문은 로봇 경로 계획에서 발생하는 비선형 확률적 시스템에 대해 근사 최적의 분리 원칙을 제안하며, 제어 문제를 개방형 경로 최적화와 피드백 LQR 정책으로 분해한다. 소규모 가우시안 노이즈 조건 하에서, 명목 경로 설계와 피드백 보정을 분리함으로써 근사 최적성을 확보하며, 노이즈가 감소함에 따라 추적 오차의 지수 수렴성과 일차 오차에 대한 이론적 보장을 제공한다.

ABSTRACT

We consider nonlinear stochastic systems that arise in path planning and control of mobile robots. As is typical of almost all nonlinear stochastic systems, the optimally solving problem is intractable. We provide a design approach which yields a tractable design that is quantifiably near-optimal. We exhibit a "separation" principle under a small noise assumption consisting of the optimal open-loop design of nominal trajectory followed by an optimal feedback law to track this trajectory, which is different from the usual effort of separating estimation from control. As a corollary, we obtain a trajectory-optimized linear quadratic regulator design for stochastic nonlinear systems with Gaussian noise.

연구 동기 및 목표

• 로봇 경로 계획에서 발생하는 비선형 확률적 시스템에서 최적 제어의 비가용성 문제를 해결하기 위해.
• 소규모 가우시안 노이즈를 갖는 시스템에 대해 정량적으로 근사 최적이 되는 접근 가능한 설계 프레임워크를 개발하기 위해.
• 기존의 추정-제어 분리와 다름없이 개방형 경로 최적화와 피드백 정책 설계를 분리하는 원칙을 수립하기 위해.
• 웬첼-프라이들린 대규모 변동 이론를 사용하여 확률적 비용 오차와 추적 성능에 대한 이론적 경계를 제공하기 위해.
• 저복잡도 계산을 통해 실시간 로봇 응용에 적합한 빠른 온라인 재계획이 가능한 방법을 제공하기 위해.

제안 방법

• 소규모 노이즈 확률적 미분 방정식(SDE)을 사용하여 확률적 제어 문제를 수식화하며, 외란을 εWt로 모델링한다.
• 웬첼-프라이들린 이론을 적용하여 대규모 변동을 분석하고, 확률적 비용 함수에 대한 일차 선형화 오차 경계를 도출한다.
• 제어 설계를 두 단계로 분해한다: (1) 해밀턴-자코비-벨만 프레임워크를 사용한 명목 경로의 개방형 최적화, (2) 최적화된 경로 주위에서의 선형 제곱 제어(LQR)를 통한 피드백 정책 설계.
• 비용과 동역학의 이차 테일러 전개를 사용하여 명목 경로 주위에서 시스템을 선형화하고, 피드백 합성의 실현 가능성을 확보한다.
• 피드백 보정 하에서 상태 및 제어 오차 전파에 대한 확률적 경계를 유도하며, 평균이 0인 일차 오차를 보여준다.
• T-LQR 아키텍처를 활용하며, 여기서 LQR는 최적화된 명목 경로를 기준선으로 사용하여 계산된다.

실험 결과

연구 질문

• RQ1 비선형 확률적 시스템에서 개방형 경로 설계와 피드백 정책 설계를 분리할 경우, 어떤 조건에서 근사 최적의 해를 얻을 수 있는가?
• RQ2 소규모 노이즈 조건 하에서 비용 함수의 일차 확률적 오차는 어떻게 행동하며, 이를 확률적으로 경계할 수 있는가?
• RQ3 명목 경로 주위의 LQR 기반 피드백 정책이 노이즈 감소에 따라 추적 오차의 지수 수렴을 달성할 수 있는가?
• RQ4 동일한 명목 경로 조건 하에서 피드백 보정이 개방형 제어에 비해 오차 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법의 계산 복잡도는 무엇이며, 이를 통해 로봇 시스템에서의 빠른 온라인 재계획이 어떻게 가능해지는가?

주요 결과

• 제안된 분리 원칙은 소규모 노이즈 조건 하에서 증명 가능한 근사 최적 설계를 제공하며, 확률적 비용 함수의 평균 일차 선형화 오차가 평균이 0임을 보여준다.
• 피드백 보정 시스템의 평균 정규화된 평균 제곱 오차(NMSE)는 노이즈 수준 ε → 0으로 갈수록 지수적으로 감소하며, 이는 이론적 예측을 확인한다.
• ε = 0.1일 때, 피드백 보정 시스템은 개방형 제어보다 유의미하게 낮은 오차를 기록하며, 오차 수렴 속도는 약 5배 빠르다.
• T-LQR 설계의 계산 복잡도는 O(ℓKnₓ² + Knₓ³)이며, 저부하 계산으로 인해 빠른 온라인 재계획이 가능하다.
• 자동차형 로봇에 대한 수치 결과는 피드백 보정 시스템이 중간 수준의 노이즈에서도 안정적인 추적 성능을 유지하며, ε 감소에 따라 오차가 단조롭게 감소함을 보여준다.
• 기존의 비가용 동적 프로그래밍이 필요한 접근 방식에 비해, 온라인 계산 복잡도를 각 반복당 O(nₓ²)로 감소시켜 성능을 뛰어나게 한다.