[논문 리뷰] Risk sensitive nonlinear optimal control with measurement uncertainty.

Brahayam Pontón, Stefan Schaal외 1명|arXiv (Cornell University)|2016. 05. 13.

Control Systems and Identification참고 문헌 17인용 수 4

한 줄 요약

이 논문은 성능 기준을 기대 비용과 비용의 고차 모멘트를 조합한 것으로 최적화하여, 과정 노이즈와 측정 노이즈를 명시적으로 고려하는 위험 민감한 비선형 최적 제어 프레임워크를 제안한다. 이 방법은 추정 오차와 과정 노이즈 공분산에 의존하는 애파인 피드백 제어 법칙을 유도하며, 확실성 등가 원칙에서 벗어나 불확실한 환경에서의 강건한 제어를 가능하게 한다. 이는 2-DOF 조작자에서 웨이포인트 및 접촉 작업에 대해 검증되었다.

ABSTRACT

We present an algorithm to synthesize locally-optimal feedback controllers that take into account additive process and measurement noise for nonlinear stochastic optimal control problems. The algorithm is based on an exponential performance criteria which allows to optimize not only the expected value of the cost, but also a linear combination of its higher order moments; thereby, the cost of uncertainty can be taken into account for synthesis of robust or risk-sensitive policies. The method constructs an affine feedback control law, whose gains explicitly depend upon the covariance of the estimation errors and process noise. Despite the fact that controller and observer are designed separately, the measurement noise variance enters the optimal control, therefore generating feedback laws that do not rely on the Certainty Equivalence Principle. The capabilities of the approach are illustrated in simulation on a two degree of freedom (DOF) manipulator, first in a waypoint task and then in a task where the manipulator goes in contact with its environment.

연구 동기 및 목표

• 비선형 확률적 최적 제어 문제에서 과정 노이즈와 측정 노이즈를 모두 고려하는 피드백 제어 합성 방법을 개발하는 것.
• 기대 비용만 최소화하는 것에서 더 나아가, 비용 함수의 고차 모멘트를 통합하여 위험 민감한 제어를 가능하게 하는 것.
• 컨트롤러와 옵저버가 별도로 설계되더라도 확실성 등가 원칙에 의존하지 않는 컨트롤러를 설계하는 것.
• 환경과의 상호작용이 포함된 불확실성에 의한 도전적인 작업에서의 방법의 유효성을 입증하는 것.
• 불확실성 하에서 국소적으로 최적의 피드백 법칙을 합성하기 위한 계산적으로 타당한 방법을 제공하는 것.

제안 방법

• 성능 기준으로 지수형 기준을 사용하여 기대 비용과 비용의 고차 모멘트에 대한 위험 민감한 페널티를 조합한다.
• 추정 오차 공분산과 과정 노이즈 공분산에 명시적으로 의존하는 애파인 피드백 제어 법칙을 수립한다.
• 비선형 시스템 동역학의 국소 근사화를 사용하여 최적화를 타당하게 한다.
• 컨트롤러와 옵저버의 설계를 분리하나, 측정 노이즈 분산은 여전히 최적 제어 법칙에 통합되어 있다.
• 불확실성 전파를 고려하는 피드백 이득을 계산하기 위해 리카티 유형의 방정식을 사용한다.
• 시뮬레이션에서 2-도르기 조작자에 대해 웨이포인트 추적 및 환경 접촉 작업을 수행하는 데 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 비용 함수의 고차 모멘트를 고려함으로써 비선형 최적 제어는 어떻게 위험 민감성으로 확장될 수 있는가?
• RQ2 과정 노이즈와 측정 노이즈 하에서 확실성 등가 원칙에 의존하지 않고 피드백 제어 성능은 어느 정도 향상될 수 있는가?
• RQ3 옵저버와 별도로 설계된 컨트롤러가 여전히 측정 노이즈 통계를 효과적으로 활용하여 강건성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 동적 불확실성과 환경 상호작용이 포함된 작업에서 어떻게 성능을 발휘하는가?
• RQ5 성능 기준에 분산과 고차 모멘트를 포함시키는 것이 제어 정책 합성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 과정 노이즈와 추정 오차 공분산에 의존하는 피드백 제어 법칙을 성공적으로 생성하여 위험 민감한 제어를 가능하게 한다.
• 비용의 고차 모멘트를 통합함으로써, 기대 비용만으로는 불충분한 불확실성 하에서의 성능 측정을 더 포괄적으로 제공한다.
• 측정 노이즈가 제어 법칙에 명시적으로 통합되어 있어, 옵저버와 컨트롤러가 별도로 설계되더라도 확실성 등가 원칙에 의존하지 않는다.
• 2-DOF 조작자에서의 시뮬레이션 결과는, 웨이포인트 추적 및 환경 접촉 작업 모두에서 안정적이고 강건한 성능을 달성함을 보여준다.
• 피드백 정책에 추정 비용과 과정 노이즈의 비용을 명시적으로 고려함으로써, 불확실성 하에서의 제어 성능을 향상시킬 수 있다.
• 애파인 피드백 구조는 효율적인 계산과 국소 최적성을 가능하게 하여, 불확실한 환경에서 실시간 응용에 적합하다.