[논문 리뷰] Near Optimality and Tractability in Stochastic Nonlinear Control.

Mohamed Naveed Gul Mohamed, Suman Chakravorty|arXiv (Cornell University)|2020. 04. 01.

Stochastic processes and financial applications인용 수 2

한 줄 요약

이 논문은 명시적 비선형 시스템에 대한 타당한 피드백 제어 설계를 제안하며, 명시적 오픈 루프 문제를 해결한 후 이를 중심으로 선형 피드백을 적용한다. 이 방법은 실제 스토크라스틱 피드백 법칙에 대해 네 번째 차수 정확도로 점점 더 근접한 성능을 달성하며, 불확실성 하에서의 로봇 계획 문제에 대해 경험적으로 검증된다.

ABSTRACT

We consider the problem of nonlinear stochastic optimal control. This is fundamentally intractable owing to Bellman's infamous curse of dimensionality. We present a principle for the tractable feedback design for such problems, wherein, first, a nominal open-loop problem is solved, followed by a suitable linear feedback design around the open-loop. The performance of the resulting feedback law is shown to be asymptotically close to the true stochastic feedback law to fourth order in a small noise parameter $\epsilon$. The decoupling theory is empirically tested on robotic planning problems under uncertainty.

연구 동기 및 목표

• 벨만의 차원의 고통(벨만의 차원의 고통)으로 인해 발생하는 스토크라스틱 비선형 최적 제어의 근본적인 비타당성 문제를 해결한다.
• 전체 힐버트-자코비-벨만 방정식을 풀지 않고도 타당한 피드백 설계 프레임워크를 개발한다.
• 오픈 루프 최적화 이후 선형 피드백 보정을 수행하는 이중 단계 접근법을 통해 진정한 스토크라스틱 피드백 법칙에 가까운 성능을 달성한다.
• 작은 노이즈 매개변수 ε에 대해 성능 정확도가 네 번째 차수까지 이론적으로 보장된다.
• 스토크라스틱 외란이 존재하는 로봇 운동 계획 작업에 대해 방법을 구현하고 시험한다.

제안 방법

• 진정한 스토크라스틱 제어 문제를 근사하기 위해 명시적 오픈 루프 최적 제어 문제를 수립한다.
• 명시적 오픈 루프 궤적을 중심으로 선형 피드백을 적용하여 안정성과 성능 향상을 도모한다.
• 퍼티urbation 분석을 사용하여 제안된 피드백과 진정한 스토크라스틱 피드백 법칙 사이의 성능 격차를 유도한다.
• 피드백 법칙의 성능이 ε에 대해 네 번째 차수까지 점점 더 최적의 스토크라스틱 피드백으로 수렴함을 증명한다.
• 피드백 보정 항의 분석을 단순화하기 위해 분리 이론을 활용한다.
• 스토크라스틱 외란이 존재하는 로봇 운동 계획 작업에 대해 방법을 구현하고 시험한다.

실험 결과

연구 질문

• RQ1 오픈 루프 최적화 이후 선형 피드백을 적용하는 이중 단계 피드백 설계가 스토크라스틱 비선형 제어에서 근사 최적 성능을 달성할 수 있는가?
• RQ2 제안된 피드백 법칙이 성능 격차 측면에서 진정한 스토크라스틱 피드백 법칙을 얼마나 정확히 근사하는가?
• RQ3 비선형 스토크라스틱 제어에서 차원의 고통이 존재하더라도 이 방법이 얼마나 타당한가?
• RQ4 성능 오차의 주요 오차 계수는 최적의 스토크라스틱 피드백에 비해 어느 정도인가?
• RQ5 불확실성이 존재하는 실질적인 로봇 계획 시나리오에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 피드백 법칙은 작은 노이즈 매개변수 ε에 대해 진정한 스토크라스틱 피드백 법칙에 네 번째 차수 정확도로 근접한다.
• 이 방법은 전체 비선형 힐버트-자코비-벨만 방정식을 풀지 않는 타당한 대안을 제공한다.
• 불확실성 하에서의 로봇 계획 문제에 대한 경험적 결과는 이 접근법의 효과성과 실용성을 입증한다.
• 분리 이론을 통해 성능 격차 분석의 해석 가능성을 확보한다.
• ε → 0일 때 피드백 설계는 점점 더 최적화되며, 오차는 O(ε⁴)로 척도가 정해진다.
• 이 방법은 계산 가능성을 유지하면서도 스토크라스틱 환경에서 오픈 루프 제어에 비해 상당한 성능 향상을 이룬다.