[논문 리뷰] End-to-End Stochastic Optimization with Energy-Based Model

Lingkai Kong, Jiaming Cui외 4명|arXiv (Cornell University)|2022. 11. 25.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 KKT 조건에 의존하지 않는 일반적이고 효율적인 엔트로피 기반 모델(EBM)을 사용한 종단간 스토케스틱 최적화 프레임워크인 So-Ebm을 제안한다. 최적화 문제를 미분 가능한 EBM 대체 모델로 매개변수화하고, 가능도와 분포 매칭을 결합한 연계된 학습 목표를 적용함으로써, 볼록 및 비볼록 문제(예: 전력 스케줄링 및 적대적 보안 게임 포함)에서 기존 최고 수준의 DFL 방법보다 최대 63배 빠른 학습 속도를 달성하며 뛰어난 성능을 보인다.

ABSTRACT

Decision-focused learning (DFL) was recently proposed for stochastic optimization problems that involve unknown parameters. By integrating predictive modeling with an implicitly differentiable optimization layer, DFL has shown superior performance to the standard two-stage predict-then-optimize pipeline. However, most existing DFL methods are only applicable to convex problems or a subset of nonconvex problems that can be easily relaxed to convex ones. Further, they can be inefficient in training due to the requirement of solving and differentiating through the optimization problem in every training iteration. We propose SO-EBM, a general and efficient DFL method for stochastic optimization using energy-based models. Instead of relying on KKT conditions to induce an implicit optimization layer, SO-EBM explicitly parameterizes the original optimization problem using a differentiable optimization layer based on energy functions. To better approximate the optimization landscape, we propose a coupled training objective that uses a maximum likelihood loss to capture the optimum location and a distribution-based regularizer to capture the overall energy landscape. Finally, we propose an efficient training procedure for SO-EBM with a self-normalized importance sampler based on a Gaussian mixture proposal. We evaluate SO-EBM in three applications: power scheduling, COVID-19 resource allocation, and non-convex adversarial security game, demonstrating the effectiveness and efficiency of SO-EBM.

연구 동기 및 목표

• 기존 목적 중심 학습(DFL) 방법의 한계를 해결하기 위해, 볼록 문제에 국한되고 반복적인 최적화 해법으로 인해 높은 학습 비용이 발생하는 문제를 해결한다.
• 볼록 및 비볼록 스토케스틱 최적화 문제에 모두 적용 가능한 일반화 가능하고 확장 가능한 DFL 프레임워크를 개발한다.
• 암시적 미분 가능한 최적화 레이어 대신 명시적 에너지 기반 대체 모델을 도입하여 KKT 조건에 대한 의존도를 제거한다.
• 자기 정규화 중요도 샘플링 절차와 최적 결정 위치 및 전체 에너지 구조를 모두 포괄하는 연계된 목표를 통해 학습 효율성을 향상시킨다.
• 전력 스케줄링, 팬데믹 자원 배분, 비볼록 보안 게임을 포함한 다양한 실제 응용 분야에서 효과성과 효율성을 입증한다.

제안 방법

• So-Ebm는 에너지 기반 모델(EBM)을 사용해 최적화 경관을 명시적으로 매개변수화하며, 암시적 KKT 기반의 미분 가능한 레이어를 대체한다.
• 이 방법은 연계된 학습 목표를 도입한다: 최적 결정을 매칭하기 위한 최대 가능도 손실과 결정의 사후분포를 EBM의 예측 분포와 일치시키기 위한 분포 기반 정규화 항.
• 학습 중 기대값을 효율적으로 추정하기 위해 가우시안 혼합 제안을 사용하는 자기 정규화 중요도 샘플러를 사용하여 계산 비용을 감소시킨다.
• 제약 조건은 사전 처리 및 추론 시점의 투영을 통해 처리되며, 바리에이션 또는 보완 라그랑주 페널티와 같은 부드러운 제약 조건을 활용한 확장도 가능하다.
• EBM 대체 모델은 예측 모델과 함께 종단간으로 학습되어, 각 단계에서 원래 문제를 해결하지 않고도 역전파가 가능하다.
• 이 프레임워크는 일반적이며, 이산 EBM 또는 MCMC, 향상된 EBM 학습 알고리즘과 같은 고급 기법을 활용해 조합 최적화 문제로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 볼록 문제를 초월하는 일반적이고 효율적인 목적 중심 학습 프레임워크를 개발할 수 있는가?
• RQ2 KKT 조건에 의존하지 않고 에너지 기반 대체 모델을 통해 최적화 경관을 효과적으로 근사할 수 있는가?
• RQ3 반복적인 최적화 해법을 대체하는 미분 가능한 EBM 기반 대체 모델을 도입함으로써 학습 효율성을 크게 향상시킬 수 있는가?
• RQ4 지역적 및 전역적 매칭을 모두 포함하는 연계된 학습 목표는 결정 품질과 일반화 능력을 어떻게 향상시키는가?
• RQ5 So-Ebm는 데이터 의존도를 줄이고 낮은 데이터 환경에서도 성능을 유지할 수 있는가?

주요 결과

• 전력 발전기 스케줄링 작업에서 So-Ebm는 DFL-QPTH보다 최대 63배 빠른 학습 속도를 기록하여, 에포크당 학습 시간을 93.12초에서 1.47초로 단축시켰다.
• 비볼록 적대적 보안 게임에서 So-Ebm는 모든 베이스라인보다 결정 회귀(regret)에서 뛰어난 성능을 보이며, 복잡하고 완화가 어려운 문제에 대한 효과성을 입증했다.
• 코로나19 자원 배분 과제에서 So-Ebm는 제한된 학습 데이터 조건에서도 강력한 성능을 유지했으며, 알고리즘적 구조 인식 에너지 함수 덕분에 낮은 데이터 의존도를 보였다.
• 최적 결정 가능도와 분포 매칭을 결합한 연계된 학습 목표는 단일 목표 대안보다 진정한 최적화 경관을 더 잘 근사한다.
• So-Ebm는 다양한 학습 데이터 비율에서 일관된 성능을 유지하며, 0.05의 극단적 낮은 데이터 비율을 제외한 모든 조건에서 베이스라인을 능가했다. 이 비율에서는 모든 방법이 데이터 부족으로 실패했다.
• So-Ebm는 볼록 및 비볼록 문제 모두에 잘 일반화되며, 해석적 기대값이 제공되지 않는 경우에도 효율적으로 확장 가능하다.