[논문 리뷰] OptimizedDP: An Efficient, User-friendly Library For Optimal Control and Dynamic Programming

B. Minh, Hu, Hanyang외 5명|arXiv (Cornell University)|2022. 04. 12.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

OptimizedDP는 HeteroCL과 TVM 기반 코드 생성을 사용하여 동적 프ogramming 및 최적 제어 계산을 가속화하는 고성능, 사용자 友好的인 파이썬 라이브러리입니다. 값 반복에 대해 순수한 파이썬 대비 최대 789배의 성능 향상을 달성하며, 최대 6차원에서의 도달 가능성 분석을 가능하게 하여 MATLAB 및 C++ 도구상자보다 크게 뛰어나며, 특히 6차원 시스템에 대한 실용적인 도달 가능성 분석을 가능하게 합니다.

ABSTRACT

This paper introduces OptimizedDP, a high-performance software library for several common grid-based dynamic programming (DP) algorithms used in control theory and robotics. Specifically, OptimizedDP provides functions to numerically solve a class of time-dependent (dynamic) Hamilton-Jacobi (HJ) partial differential equations (PDEs), time-independent (static) HJ PDEs, and additionally value iteration for continuous action-state space Markov Decision Processes (MDP). The computational complexity of grid-based DP is exponential with respect to the number of grid or state space dimensions, and thus can have bad execution runtimes and memory usage whenapplied to large state spaces. We leverage the user-friendliness of Python for different problem specifications without sacrificing the efficiency of the core computation. This is achieved by implementing the core part of the code which the user does not see in heterocl, a framework we use to abstract away details of how computation is parallelized. Compared to similar toolboxes for level set methods that are used to solve the HJ PDE, our toolbox makes solving the PDE at higher dimensions possible as well as achieving an order of magnitude improvements in execution times, while keeping the interface easy for specifying different problem descriptions. Because of that, the toolbox has been adopted to solve control and optimization problems that were considered intractable before. Our toolbox is available publicly at https://github.com/SFU-MARS/optimized_dp.

연구 동기 및 목표

• 로봇공학 및 제어 분야에서 연속 상태 MDP 값 반복 및 해밀턴-자비 편미분방정식(HJ PDE) 해법을 위한 효율적이고 사용자 친화적인 도구의 부족을 해결합니다.
• MATLAB 기반의 ToolboxLS 및 HelperOC와 같은 기존 도구상자들이 느리고 4차원 문제에 한정되어 있는 점을 고려해, 확장성의 한계를 극복합니다.
• C++/CUDA 수준의 빠른 성능와 파이썬 수준의 사용 용이성을 결합하여 BEACLS에 대한 고성능 대안을 제공합니다.
• 수치 알고리즘의 최적화를 통해 고차원 시스템(최대 6차원)에 대한 실용적인 도달 가능성 분석을 가능하게 하며, 성능을 희생시키지 않고도 사용 용이성을 유지합니다.
• 동적 프로그래밍 기반 최적 제어 및 도달 가능성 분석에서 프로토타이핑의 효율성과 계산 성능의 격차를 메웁니다.

제안 방법

• 문제 사양을 위한 파이썬 프론트엔드와 HeteroCL을 활용한 고성능 백엔드 실행을 통해 핵심 알고리즘—HJ PDE 해법, BRT/BRS 계산, 도달 시간 계산, 값 반복—을 구현합니다.
• TVM 기반의 파이썬 기반 도메인 특화 언어인 HeteroCL을 활용해 알고리즘 정의와 저수준 스케줄링 및 최적화를 분리합니다.
• TVM의 그래프 수준 최적화 및 맞춤형 스케줄링 변환을 적용하여 고차원 그리드에서의 메모리 접근 및 부동소수점 연산을 가속화합니다.
• HJ PDE 해법기에서 정확한 도함수 근사치를 확보하기 위해 ENO(Essentially Non-Oscillatory) 스킴을 적용하여 1차 및 2차 정확도를 모두 지원합니다.
• 구조화된 격자 위에서 반복적 동적 프로그래밍을 구현하여 MDP 값 반복에 연속 상태 및 행동 공간을 지원합니다.
• HeteroCL 내에서 CUDA를 통한 GPU 가속을 통합하여 대규모 격자, 특히 5차원 및 6차원 문제에서의 계산을 가속화합니다.

실험 결과

연구 질문

• RQ1 BEACLS와 같은 C++/CUDA 기반 도구상자 수준의 성능를 달성하면서도 시스템 모델링에 대한 사용 용이성을 유지할 수 있는 파이썬 기반 라이브러리가 가능한가요?
• RQ2 HeteroCL과 TVM 기반 코드 생성은 고차원 격자에서의 동적 프로그래밍 알고리즘 성능 향상에 얼마나 기여할 수 있나요?
• RQ3 이전 도구들이 계산 한계로 인해 실패한 바와 같이, 라이브러리가 6차원 시스템에 대해 도달 가능성 분석을 확장할 수 있을까요?
• RQ4 연속 MDP에 대한 값 반복에서 OptimizedDP의 성능는 순수한 파이썬 구현 대비 어떻게 비교되나요?
• RQ5 HJ PDE 해법기에서 다양한 순서의 ENO 스킴을 사용할 경우, 수치 정확도와 계산 속도 사이의 상호 교환 관계는 어떻게 되나요?

주요 결과

• 3D 값 반복에 대해 50×50×30 격자에서 순수한 파이썬 대비 최대 789배의 성능 향상을 달성하여 실행 시간을 773초에서 0.98초로 단축했습니다.
• 40⁵ 격자에서 5D HJ PDE 해법에 대해 OptimizedDP는 2차 ENO를 사용해 0.98초에 실행되었으며, BEACLS(8.28초) 대비 8.44배 빠르게 작동했습니다.
• 이전 도구상자들이 계산 제약으로 인해 처리할 수 없었던, 수중 차량 추적과 같은 6차원 시스템에 대한 도달 가능성 분석을 라이브러리가 가능하게 했습니다.
• 3D HJ PDE 해법에서 OptimizedDP는 MATLAB 기반의 ToolboxLS 대비 32배, HelperOC 대비 10배 빠르며, 최대 해의 차이가 1.4×10⁻⁶ 이내로 유지되었습니다.
• HJ PDE의 경우 기준 솔루션 대비 최대 차이가 10⁻⁶ 이하로 매우 높은 수치 정확도를 유지하였고, 값 반복의 경우 최대 차이가 0.25 이하로 낮았습니다.
• HeteroCL과 TVM의 조합은 효율적인 코드 생성 및 스케줄링을 가능하게 하여 고수준 파이썬 인터페이스를 통해 고성능 수치 계산을 접근 가능하게 했습니다.