[논문 리뷰] Self-Supervised Primal-Dual Learning for Constrained Optimization

Seonho Park, Pascal Van Hentenryck|arXiv (Cornell University)|2022. 08. 18.

Reservoir Engineering and Simulation Methods인용 수 4

한 줄 요약

이 논문은 제약 최적화 문제의 해를 근사하기 위해 보조적이고 이중적 신경망을 함께 훈련하는 자기지도 학습 방법인 프리멀-이중 학습(PDL)을 제안한다. 이는 보완 라그랑주 과정(ALM)의 궤적을 모방한다. 감독 학습 방법과 달리, PDL은 훈련 중에 사전에 해결된 인스턴스나 최적화 솔버가 필요 없으며, 비선형 기준 문제인 QP, QCQP, AC-OPF 문제를 포함한 다양한 기준에서 제약 위반은 극히 적고 최적성 갭은 ALM 수준과 유사한 성능을 달성한다.

ABSTRACT

This paper studies how to train machine-learning models that directly approximate the optimal solutions of constrained optimization problems. This is an empirical risk minimization under constraints, which is challenging as training must balance optimality and feasibility conditions. Supervised learning methods often approach this challenge by training the model on a large collection of pre-solved instances. This paper takes a different route and proposes the idea of Primal-Dual Learning (PDL), a self-supervised training method that does not require a set of pre-solved instances or an optimization solver for training and inference. Instead, PDL mimics the trajectory of an Augmented Lagrangian Method (ALM) and jointly trains primal and dual neural networks. Being a primal-dual method, PDL uses instance-specific penalties of the constraint terms in the loss function used to train the primal network. Experiments show that, on a set of nonlinear optimization benchmarks, PDL typically exhibits negligible constraint violations and minor optimality gaps, and is remarkably close to the ALM optimization. PDL also demonstrated improved or similar performance in terms of the optimality gaps, constraint violations, and training times compared to existing approaches.

연구 동기 및 목표

• 감독 학습의 한계를 해결하기 위해, 제약 최적화 문제에 적용할 때 비용이 많이 드는 사전에 해결된 인스턴스 생성과 축적된 제약 페널티로 인해 타당성이 확보되지 않는 문제를 해결한다.
• 사전에 해결된 훈련 데이터나 최적화 솔버가 필요 없는 자기지도 학습 대안을 개발한다.
• 통합된 프리멀-이중 네트워크 훈련 체계를 통해 인스턴스별 제약 다중수를 가능하게 하여 해 품질을 향상시킨다.
• 자기지도 프리멀-이중 학습이 보완 라그랑주 과정(ALM)과 유사한 최적성 갭과 제약 위반 수준을 달성할 수 있음을 입증한다.
• 가격 추정이나 솔버의 온도 설정을 위한 후속 작업에 이중 네트워크 근사의 잠재력을 탐색한다.

제안 방법

• PDL는 보완 라그랑주 과정(ALM)의 반복적 궤적을 모방하는 자기지도 학습 목적함수를 제안하며, 프리멀 및 이중 신경망을 동시에 훈련한다.
• 프리멀 손실 함수에 인스턴스별 이중 변수(다중수)를 사용하여 제약 위반을 페널티 처리함으로써 동적이고 적응적인 타당성 확보를 가능하게 한다.
• 프리멀 네트워크는 결정 변수를 예측하고, 이중 네트워크는 라그랑주 승수를 추정하며, 둘 다 진동적으로 수렴하는 진정한 프리멀 및 이중 해에 도달하도록 반복 업데이트된다.
• 훈련 과정에서는 사전에 해결된 인스턴스나 최적화 솔버에 접근할 필요가 없으며, 대신 ALM의 역학과 문제의 수학적 구조에만 의존한다.
• 이 프레임워크는 다양한 신경망 아키텍처(타당성 복원을 위한 암시적 레이어 포함)를 지원하는 일반적인 구조를 갖는다.
• PDL는 볼록 및 비볼록 2차 프로그래밍, QCQP, AC-OPF 문제에 적용되며, 최적성 갭과 제약 위반 지표를 통해 성능 평가가 이루어진다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 제약 최적화 문제의 입력-출력 매핑 학습에 있어 사전에 해결된 훈련 인스턴스가 필요 없도록 할 수 있는가?
• RQ2 인스턴스별 다중수를 갖는 프리멀-이중 학습 프레임워크가 기존의 감독 학습 및 프리멀 전용 자기지도 학습 방법보다 타당성과 최적성 면에서 뛰어나게 성능을 내는가?
• RQ3 PDL의 성능은 보완 라그랑주 과정(ALM)과 비교해 해 품질과 제약 위반 측면에서 어떻게 되는가?
• RQ4 특히 광범위한 데이터 생성이 필요한 문제에서, PDL의 훈련 효율성은 감독 기반 기준 대비 어떻게 되는가?
• RQ5 PDL에서 유도된 이중 네트워크 근사는 가격 추정이나 최적화 솔버의 온도 설정과 같은 후속 응용에 기여할 수 있는가?

주요 결과

• 볼록 및 비볼록 QP 문제에서 PDL은 최적성 갭 0.03(0.01)과 최대 제약 위반 0.08(0.02)을 달성하여 타당성 결여가 극히 적고 정확도가 높음을 입증했다.
• AC-OPF 문제(case56 및 case118)에서 PDL은 최적성 갭 0.37(0.52)와 최대 제약 위반 0.03(0.01)을 기록했으며, 감독 기반 페널티 및 라그랑주 완화 기준보다 뛰어난 성능을 보였다.
• QCQP 문제에서 PDL는 최적성 갭 0.05(0.01)과 제약 위반 0.02(0.00)을 기록하여 극히 낮은 오차로 뛰어난 성능을 보였다.
• PDL의 훈련 시간은 감독 기반 기준 LD와 유사했으며(예: QCQP에서 5553.2초 대비 3572.3초), 감독 방법에서 요구하는 715시간의 데이터 생성 비용을 피했다.
• AC-OPF case118에서 PDL의 훈련 시간은 7605.1초였고, 감독 기반 기준의 데이터 생성에는 13,120.3초가 소요되어, 데이터 부족 환경에서 PDL의 효율성이 뚜렷하게 드러났다.
• PDL의 해는 ALM에 매우 가까웠으며, 모든 기준에서 최적성 갭과 제약 위반 수준이 기존 방법과 유사하거나 뛰어나게 유지되었다.