[논문 리뷰] Lax-Oleinik-type formulas and efficient algorithms for certain high-dimensional optimal control problems

Paula Chen, Jérôme Darbon외 1명|arXiv (Cornell University)|2021. 09. 30.

Model Reduction and Neural Networks참고 문헌 83인용 수 4

한 줄 요약

이 논문은 상태에 의존하는 실행 비용과 제어 제약 조건을 가진 고차원 최적 제어 문제를 위한 Lax-Oleinik 유형의 표현 공식과 격자 없는 수치 해법기를 제안한다. 최소-플러스 대수와 볼록 최적화를 활용하여 차원에 대해 선형 스케일링을 달성하고, FPGA 대비 CPU 대비 40배 이상의 속도 향상을 보이며, 실시간 응용을 위한 차원의 고통을 극복한다.

ABSTRACT

Two of the main challenges in optimal control are solving problems with state-dependent running costs and developing efficient numerical solvers that are computationally tractable in high dimension. In this paper, we provide analytical solutions to certain optimal control problems whose running cost depends on the state variable and with constraints on the control. We also provide Lax-Oleinik-type representation formulas for the corresponding Hamilton-Jacobi partial differential equations with state-dependent Hamiltonians. Additionally, we present an efficient, grid-free numerical solver based on our representation formulas, which is shown to scale linearly with the state dimension, and thus, to overcome the curse of dimensionality. Using existing optimization methods and the min-plus technique, we extend our numerical solvers to address more general classes of convex and nonconvex initial costs. We demonstrate the capabilities of our numerical solvers using implementations on a central processing unit (CPU) and a field-programmable gate array (FPGA). In several cases, our FPGA implementation obtains over a 10 times speedup compared to the CPU, which demonstrates the promising performance boosts FPGAs can achieve. Our numerical results show that our solvers have the potential to serve as a building block for solving broader classes of high-dimensional optimal control problems in real-time.

연구 동기 및 목표

• 상태에 의존하는 실행 비용과 제어 제약 조건을 가진 고차원 최적 제어 문제를 해결하는 데 도전하는 것.
• 상태에 의존하는 해밀토니안을 가진 해밀턴-자비 PDE에 대한 해석적 표현 공식을 개발하는 것.
• 차원 수에 따라 선형적으로 스케일링되는 격자 없는 수치 해법기를 설계하여 차원의 고통을 극복하는 것.
• CPU 및 FPGA 플랫폼에 효율적인 해법기를 구현하여 실시간 성능을 가능하게 하는 것.
• 고차원 최적 제어에서 FPGA 가속화의 실현 가능성과 성능 향상을 입증하는 것.

제안 방법

• 최소-플러스 대수와 볼록 최적화를 사용하여 상태에 의존하는 해밀토니안을 가진 해밀턴-자비 PDE에 대한 Lax-Oleinik 유형의 표현 공식을 유도하는 것.
• 이러한 표현 공식에 기반한 격자 없는 수치 해법기를 구축하여 기존의 격자 기반 이산화를 피하는 것.
• 요소별 및 점별 병렬 처리를 활용하여 상태 차원 n에 따라 효율적으로 스케일링하는 것.
• CPU 및 FPGA에 해법기를 구현하여 FPGA의 병렬성과 저지연 스트리밍을 활용해 고처리량 계산을 수행하는 것.
• 최소-플러스 기법과 기존 최적화 방법을 적용하여 해법기를 볼록 및 비볼록 초기 비용 함수로 확장하는 것.
• 다차원 부분문제를 위해 해법기 빌드 블록을 3개의 병렬 인스턴스로 사용하고, 결과를 (51)을 통해 조합하는 것.

실험 결과

연구 질문

• RQ1 상태에 의존하는 해밀토니안을 가진 해밀턴-자비 PDE에 대해 해석적 Lax-Oleinik 유형의 공식을 도출할 수 있는가?
• RQ2 상태 차원에 따라 선형적으로 스케일링되는 격자 없는 수치 해법기를 이러한 문제에 대해 설계할 수 있는가?
• RQ3 고차원 최적 제어에서 FPGA 가속화가 CPU 구현 대비 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 해법기는 볼록 및 비볼록 초기 비용 함수에서 어떻게 성능을 발휘하는가?
• RQ5 여러 개의 FPGA 커널에 걸쳐 해법기를 효율적으로 병렬화하여 처리량을 추가로 향상시킬 수 있는가?

주요 결과

• 16차원 문제에서 FPGA 대비 CPU 대비 평균 40배의 속도 향상을 달성했으며, FPGA 런타임은 점당 6×10⁻⁸초 미만이다.
• FPGA 구현의 지연 시간은 상태 차원 n에 따라 선형적으로 증가하지만, 자원 사용량은 거의 일정하여 강력한 확장성을 보인다.
• Xilinx Alveo U280 보드에서 사용 가능한 자원의 30% 미만을 사용하여 향후 더 많은 병렬화가 가능하며, 총 118배의 속도 향상 가능성이 있다.
• CPU로 구현한 16차원 문제의 경우 점당 3×10⁻⁶초 미만으로 실행되어 기존 하드웨어에서도 효율적임을 입증한다.
• 상태 차원에 따라 선형적으로 스케일링되는 방식으로 차원의 고통을 성공적으로 극복하여 실시간 고차원 최적 제어를 가능하게 한다.
• 최소-플러스 기법과 기존 최적화 알고리즘을 활용하여 일반적인 볼록 및 비볼록 초기 비용 함수로의 확장에 성공하였다.