[논문 리뷰] Belief Space Planning Simplified: Trajectory-Optimized LQG (T-LQG) (Extended Report)

Mohammadhussein Rafieisakhaei, Suman Chakravorty외 1명|arXiv (Cornell University)|2016. 08. 10.

Machine Learning and Algorithms참고 문헌 23인용 수 4

한 줄 요약

이 논문은 비선형 시스템의 불확실성을 고려한 민감도 공간 계획을 위한 계산적으로 효율적인 방법인 궤적 최적화 LQG(T-LQG)를 제안한다. 명목 궤적을 최적화 변수로 간주하고 분리 원리를 활용함으로써, 민감도 공간 문제의 차원을 $O(n^2 + n)$에서 $O(n)$으로 감소시켜 표준 비선형 프로그래밍(NLP)을 통해 $O(Kn^3)$ 복잡도로 확장 가능한 해법을 가능하게 하였으며, 기존 방법들에 비해 계산 효율성과 이론적 엄밀성에서 뛰어나다.

ABSTRACT

Planning under motion and observation uncertainties requires solution of a stochastic control problem in the space of feedback policies. In this paper, we reduce the general (n^2+n)-dimensional belief space planning problem to an (n)-dimensional problem by obtaining a Linear Quadratic Gaussian (LQG) design with the best nominal performance. Then, by taking the underlying trajectory of the LQG controller as the decision variable, we pose a coupled design of trajectory, estimator, and controller design through a Non-Linear Program (NLP) that can be solved by a general NLP solver. We prove that under a first-order approximation and a careful usage of the separation principle, our approximations are valid. We give an analysis on the existing major belief space planning methods and show that our algorithm has the lowest computational burden. Finally, we extend our solution to contain general state and control constraints. Our simulation results support our design.

연구 동기 및 목표

• 과정 및 관측 노이즈가 존재하는 비선형 시스템에서 민감도 공간 계획의 높은 계산 부담을 해결한다.
• 형태론적 접근 방식인 가장 가능성 높은 관측(MLO)의 한계를 극복한다. MLO는 공식적인 제어기 설계가 없고 잘못된 가정에 의존한다.
• 궤적, 추정기, 제어기 설계를 통합 최적화 프레임워크로 연결하여 확장 가능하고 이론적으로 타당한 방법을 개발한다.
• 비볼록 장애물 영역을 포함한 복잡한 환경에서 온라인 재계획 및 제약 조건 처리를 가능하게 한다.
• LQG와 1차 근사화를 통해 최적의 추정 및 제어 성능를 유지하면서도 계산 복잡도를 최소화한다.

제안 방법

• 민감도 공간 계획 문제를 비선형 프로그래밍(NLP)으로 재구성하기 위해 명목 궤적을 주요 최적화 변수로 사용함으로써 차원을 $n^2 + n$에서 $n$으로 감소시킨다.
• 분리 원리를 적용하여 추정기 및 제어기 설계를 분리함으로써, LQR 제어기가 명목 궤적 주변에서 시스템을 안정화시킴을 보장한다.
• 역동적 리카티 방정식을 사용해 궤적에 따라 달라지는 추정 공분산을 계산함으로써 전체 민감도 전파 없이도 성능 평가가 가능해진다.
• 명목 궤적 주변의 시스템 동역학에 대한 1차 근사화를 사용해 명목 성능을 최적화함으로써 이론적 타당성을 확보한다.
• 로봇 기하학에서 유도된 확장된 다각형 장애물에 대한 비용 함수 수정을 통해 장애물 회피를 통합한다.
• 선형화 오차가 허용 한계를 초과할 경우 온라인 재계획을 가능하게 하여 실행 중 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 민감도 추정 또는 제어 성능을 손상시키지 않고도 궤적 최적화 LQG를 통해 $O(n)$ 차원 최적화 문제로 민감도 공간 계획을 단순화할 수 있는가?
• RQ2 분리 원리를 어떻게 활용하여 궤적, 추정기, 제어기 설계를 이론적으로 타당한 방식으로 통합할 수 있는가?
• RQ3 기존 방법들인 MLO나 POMDP 솔버와 비교했을 때 궤적 최적화 LQG를 사용하는 민감도 공간 계획기의 계산 복잡도는 어떻게 되는가?
• RQ4 T-LQG는 히وري스틱 또는 입자 필터 기반 접근 방식보다 더 뛰어난 추정 성능를 유지하면서도 더 낮은 계산 비용을 달성할 수 있는가?
• RQ5 비볼록 환경과 충돌 제약 조건을 차원 수나 계산 부담을 증가시키지 않고 어떻게 처리할 수 있는가?

주요 결과

• T-LQG는 MLO 방법의 $O(n_{tr}(Kn^3 + kn^2) + Kn^6)$ 복잡도에 비해 계산 복잡도가 $O(Kn^3)$으로 현저히 낮다.
• 명목 궤적을 최적화 변수로 사용함으로써 민감도 공간 계획 문제의 차원을 $n^2 + n$에서 $n$으로 감소시켰다.
• youBot 로봇을 대상으로 한 시뮬레이션 결과, T-LQG는 좁은 통로에서 장애물을 성공적으로 회피하면서 정보가 풍부한 궤적을 최적화하는 데 성공했다.
• 시뮬레이션에서 최적화된 궤적은 금지 영역(타원형으로 표현됨)을 피하고 랜드마크에 더 가까이 접근하여 추정 성능를 향상시켰다.
• T-LQG는 MLO와 달리 분리 원리를 사용하고 안정화 제어기를 포함함으로써 이론적 엄밀성에서 MLO를 능가한다.
• 저차원 NLP 공식화 덕분에 재계획이 가능하고 효율적이며, 선형화 오차가 허용 한계를 초과할 경우 실시간 적응이 가능하다.