[논문 리뷰] Accelerating Quadratic Optimization with Reinforcement Learning

Jeffrey Ichnowski, Paras Jain외 7명|arXiv (Cornell University)|2021. 07. 22.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 20

한 줄 요약

이 논문은 강화학습 기반 방법인 RLQP를 제안하며, 실시간으로 ADMM 단계 크기 파라미터(ρ)를 적응적으로 조정함으로써 이차계획문제의 수렴 속도를 가속화한다. 다양한 QP 문제로 훈련된 RLQP는 OSQP와 같은 최신 솔버 대비 최대 3배 빠른 솔루션 시간을 기록하며, QPLIB, Netlib LP, Maros-Mészáros 벤치마크를 포함한 다양한 문제 유형에 대해 효과적으로 일반화된다.

ABSTRACT

First-order methods for quadratic optimization such as OSQP are widely used for large-scale machine learning and embedded optimal control, where many related problems must be rapidly solved. These methods face two persistent challenges: manual hyperparameter tuning and convergence time to high-accuracy solutions. To address these, we explore how Reinforcement Learning (RL) can learn a policy to tune parameters to accelerate convergence. In experiments with well-known QP benchmarks we find that our RL policy, RLQP, significantly outperforms state-of-the-art QP solvers by up to 3x. RLQP generalizes surprisingly well to previously unseen problems with varying dimension and structure from different applications, including the QPLIB, Netlib LP and Maros-Meszaros problems. Code for RLQP is available at https://github.com/berkeleyautomation/rlqp.

연구 동기 및 목표

• OSQP와 같은 1차 수준의 이차계획문제 최적화 방법은 높은 정확도를 확보하기 위해 수천 번의 반복을 요구하는 등 수렴 속도가 느린 지속적인 문제를 해결한다.
• 특히 ADMM 단계 크기 ρ에 대한 수동 또는 히ュ리스틱한 초모수 조정의 한계를 극복하기 위해 강화학습을 통해 적응형 정책을 학습한다.
• 재훈련 없이도 다양한 QP 문제 유형에서 수렴 속도를 가속화할 수 있는 일반화 가능한 강화학습 정책을 개발하여 제어 및 머신러닝 응용 분야에서 실시간 구현을 가능하게 한다.
• 일반화와 전문화 사이의 상충 관계를 조사하기 위해 문제 유형 간 공동으로 훈련된 정책 또는 특정 응용 분야에 맞춰 조정된 정책을 비교한다.
• 학습된 정책가 비적응형 및 히ュ리스틱 적응형 솔버보다도 수렴 속도와 안정성 면에서 뛰어나며, 분포 외 문제에 대해서도 성능을 뛰어넘는다는 것을 입증한다.

제안 방법

• 내부 솔버 상태(원시 및 이중 변수, 제약 조건)를 상태로, ADMM 단계 크기 ρ에 대한 조정를 행동으로, 솔루션 시간을 최소화하기 위해 반복 횟수의 음수를 보상으로 설정한 강화학습(RL) 환경으로 QP 해법 과정을 수식화한다.
• 딥 강화학습을 사용해 솔버 상태에서 ρ 조정으로 매핑하는 신경망 정책 πθ를 훈련하며, 스칼라(각 반복마다 단일 ρ 업데이트) 및 벡터(제약 조건별로 별도의 ρ 업데이트) 두 가지 형태를 사용한다.
• 학습 안정성을 높이기 위해 재생 버퍼와 경험 재생을 사용하며, 랜덤화된 QP 인스턴스를 기반으로 쿠리큘럼 학습을 적용해 샘플 효율성을 향상시킨다.
• 일반 정책은 QPLIB, Netlib, Maros-Mészáros 등 다양한 QP 문제 유형을 포함한 광범위한 문제 세트로 훈련하여 즉시 사용 가능한 배포를 가능하게 하며, 특정 문제 유형에 대해 훈련된 전문화 정책은 반복 사용 시 더 높은 성능을 확보한다.
• 훈련된 정책을 OSQP 솔버 파이프라인에 통합하여 고정 또는 히ュ리스틱 ρ 조정 방식을 대체하고, ADMM 반복 과정에서 학습된 동적 업데이트를 적용한다.
• 정책 오버헤드가 수렴 성과를 상쇄하지 않도록 경량 신경망과 하드웨어 기반 설계를 통해 추론 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 강화학습은 ADMM 단계 크기 ρ를 적응적으로 조정하고 이차계획문제의 수렴 속도를 가속화하는 효과적이고 일반화 가능한 정책을 학습할 수 있는가?
• RQ2 다양한 QP 문제 유형에서 RL 기반 정책의 성능은 비적응형 및 히ュ리스틱 적응형 솔버와 비교해 어떻게 다른가?
• RQ3 단일, 공동으로 훈련된 RL 정책가 다양한 차원과 구조를 가진 이전에 본 적 없는 QP 문제에 얼마나 잘 일반화되는가?
• RQ4 특정 문제 유형에 대해 정책을 미세조정하면 일반 정책보다 추가적인 성능 향상을 얻을 수 있는가?
• RQ5 훈련 비용, 추론 지연, 분포 외 문제에 대한 안정성 측면에서 RLQP의 실용적 한계는 무엇인가?

주요 결과

• QPLIB 벤치마크에서 RLQP는 OSQP 대비 최대 3배 빠른 솔루션 시간을 기록하며, 대규모 및 불량 조건 문제에서 뚜렷한 향상을 보였다.
• 일반 벡터형 정책는 Netlib LP 벤치마크에서 OSQP 대비 1.30배 빠른 속도를 기록했으며, 실행 시간의 시프트된 기하 평균을 기준으로 측정되었다.
• Maros-Mészáros QP 벤치마크에서 RLQP의 시프트된 기하 평균 실행 시간은 OSQP 대비 1.829배 빠르며, 불량 스케일링 문제에 대한 강건성을 입증했다.
• 일반 정책는 분포 외 문제에 대해 잘 일반화되었지만, 분포 이격으로 인한 일부 타임아웃이 발생하여 향후 일반화 성능 향상 여지가 있음을 시사했다.
• 특정 문제 유형에 대해 훈련된 전문화 정책는 수렴 속도를 추가로 가속화하여 도메인 특화 미세조정이 추가적인 성능 향상 가능성을 보여주었다.
• 고비용 훈련(고성능 하드웨어에서 수일 간 소요)에도 불구하고, 추론 시에는 매우 효율적이며 최소한의 오버헤드를 가지므로 실시간 배포가 가능하다.