[논문 리뷰] Mitigating the Curse of Dimensionality: Sparse Grid Characteristics Method for Optimal Feedback Control and HJB Equations

Wei Kang, Lucas C. Wilcox|arXiv (Cornell University)|2015. 07. 16.

Computational Fluid Dynamics and Aerodynamics참고 문헌 30인용 수 6

한 줄 요약

이 논문은 최적 피드백 제어를 위한 해밀턴–자코비–벨리만(Hamilton–Jacobi–Bellman, HJB) 방정식을 풀이할 때 발생하는 차원의 극복 문제를 완화하기 위해 희소 격자 특성 방법을 제안한다. 희소 격자 점들에서 푸앵카레의 최대원리(Pontryagin’s maximum principle)를 적용하여 특성 경계값 문제를 유도함으로써, 인과성 없이 완벽하게 병렬화된 계산이 가능해지고, 보간을 통해 고차 정확도를 확보할 수 있다. 이는 6차원 시스템에 대해 45만 개 이상의 격자 점을 효과적으로 해결할 수 있게 하며, 이는 1兆점 이상이 필요한 조밀한 격자에 비해 훨씬 효율적이다.

ABSTRACT

We address finding the semi-global solutions to optimal feedback control and the Hamilton--Jacobi--Bellman (HJB) equation. Using the solution of an HJB equation, a feedback optimal control law can be implemented in real-time with minimum computational load. However, except for systems with two or three state variables, using traditional techniques for numerically finding a semi-global solution to an HJB equation for general nonlinear systems is infeasible due to the curse of dimensionality. Here we present a new computational method for finding feedback optimal control and solving HJB equations which is able to mitigate the curse of dimensionality. We do not discretize the HJB equation directly, instead we introduce a sparse grid in the state space and use the Pontryagin's maximum principle to derive a set of necessary conditions in the form of a boundary value problem, also known as the characteristic equations, for each grid point. Using this approach, the method is spatially causality free, which enjoys the advantage of perfect parallelism on a sparse grid. Compared with dense grids, a sparse grid has a significantly reduced size which is feasible for systems with relatively high dimensions, such as the $6$-D system shown in the examples. Once the solution obtained at each grid point, high-order accurate polynomial interpolation is used to approximate the feedback control at arbitrary points. We prove an upper bound for the approximation error and approximate it numerically. This sparse grid characteristics method is demonstrated with two examples of rigid body attitude control using momentum wheels.

연구 동기 및 목표

• 고차원 비선형 시스템에서 최적 피드백 제어를 위한 HJB 방정식 해법에서 발생하는 차원의 극복 문제를 해결하기 위해.
• 현대 아키텍처에서 효율적인 계산을 가능하게 하는 인과성 없는 완벽한 병렬화를 구현하는 수치적 방법을 개발하기 위해.
• 조밀한 격자에 비해 격자 크기를 크게 줄일 수 있는 희소 격자를 사용하여 HJB 방정식의 준국소적 해를 제공하기 위해.
• 고차 다항식 보간과 수치적으로 검증 가능한 오차 한계를 통해 높은 정확도를 확보하기 위해.

제안 방법

• 상태 공간에 희소 격자를 구성하여 조밀한 격자에 비해 격점 수를 크게 감소시킨다.
• 각 격점에서 푸앵카레의 최대원리를 적용하여 특성 방정식으로서 두점 경계값 문제(Boundary Value Problem, BVP)를 도출한다.
• BVP는 Lobatto IIIa 방법을 사용하여 독립적으로 풀며, 공간적 인과성이 없기 때문에 완벽한 병렬성을 확보할 수 있다.
• 격점에서의 해를 이용해 임의의 상태에서 피드백 제어를 위한 고차 다항식 보간을 구성한다.
• HJB PDE를 직접 이산화하지 않고, 특성 방식을 통해 필요 조건을 풀이한다.
• 전체 근사 오차에 대한 상한을 유도하고 몬테카를로 샘플링을 사용하여 수치적으로 검증한다.

실험 결과

연구 질문

• RQ1 6개 이상의 상태 변수를 가진 시스템에서 HJB 방정식 해법의 차원의 극복 문제를 효과적으로 완화할 수 있는가?
• RQ2 현대 하드웨어에서 완벽한 병렬성을 달성하기 위해 최적 제어 문제에서 인과성 없는 계산을 어떻게 실현할 수 있는가?
• RQ3 희소 격자에서의 보간을 통한 피드백 제어의 달성 가능한 정확도는 얼마이며, 오차를 정량적으로 한계화할 수 있는가?
• RQ4 모멘텀 유효축을 가진 비제어 가능한 강체 자세 제어 시스템과 같은 복잡한 동역학을 가진 시스템의 해를 계산할 수 있는가?
• RQ5 시간-상태 공간 희소 격자를 사용하여 가변 시간 수평 모델 예측 제어(Model Predictive Control, MPC)로의 응용을 확장할 수 있는가?

주요 결과

• 이 방법은 약 4.5 × 10⁵개의 희소 격자 점을 사용하여 6차원 HJB 방정식에 대해 준국소적 해를 성공적으로 계산하였으며, 이에 해당하는 조밀한 격자는 10¹²개 이상의 점이 필요하다.
• 보간된 값 함수 V(t, x)의 평균 절대 오차(MAE)는 8.5 × 10⁻⁴이며, 오차 분포의 분산은 2.8 × 10⁻⁶이었다.
• 각 격점에서 BVP를 독립적으로 풀어 인과성이 없고 완벽한 병렬성을 확보함으로써, 다핵 컴퓨팅 아키텍처의 효율적 활용이 가능했다.
• 보간 오차와 BVP 해법 오차의 조합 오차 상한은 1,200개의 랜덤 테스트 점을 사용하여 수치적으로 근사하고 검증하였다.
• 상태 노이즈가 존재하는 상황에서도 가변 시간 수평을 가진 모델 예측 제어(MPC)를 효과적으로 구현할 수 있었다.
• 비제어 가능한 6차원 강체 자세 제어 시스템(모멘텀 유효축이 두 쌍 있는 경우)에 대해 HJB 방정식의 해를 처음으로 계산하였다. 이는 이전에 해결되지 못한 문제였다.