[논문 리뷰] End-to-End Learning for Stochastic Optimization: A Bayesian Perspective

Yves Rychener, Daniel Kuhn Tobias Sutter외 1명|arXiv (Cornell University)|2023. 06. 07.

Reservoir Engineering and Simulation Methods인용 수 4

한 줄 요약

이 논문은 확률적 최적화에서 엔드 투 엔드 학습에 대한 베이지안 해석을 제시하며, 표준 학습 절차가 암묵적으로 사후 베이즈 작동 지도를 학습한다고 보여준다. 신경망 결정 지도를 사용하여 경험적 리스크 최소화와 분포로 보다 강건한 최적화를 위한 새로운 엔드 투 엔드 알고리즘을 제안하며, 시뮬레이션 및 실세계 경제적 배분 문제에서 기준 모델 대비 향상된 테스트 성능과 강건성을 입증한다.

ABSTRACT

We develop a principled approach to end-to-end learning in stochastic optimization. First, we show that the standard end-to-end learning algorithm admits a Bayesian interpretation and trains a posterior Bayes action map. Building on the insights of this analysis, we then propose new end-to-end learning algorithms for training decision maps that output solutions of empirical risk minimization and distributionally robust optimization problems, two dominant modeling paradigms in optimization under uncertainty. Numerical results for a synthetic newsvendor problem illustrate the key differences between alternative training schemes. We also investigate an economic dispatch problem based on real data to showcase the impact of the neural network architecture of the decision maps on their test performance.

연구 동기 및 목표

• 표준 엔드 투 엔드 학습이 확률적 최적화에서 원칙적인 베이지안 해석을 제공하는 것.
• 예측-그리고-최적화 및 표준 엔드 투 엔드 방법의 한계를 베이지안 추론를 통해 사전 지식과 정규화를 통합함으로써 해결하는 것.
• ERM 및 DRO를 위한 결정 지도를 직접 최적화하는 새로운 엔드 투 엔드 학습 알고리즘을 개발하여 일반화 및 강건성을 향상시키는 것.
• 신경망 아키텍처와 관측 정보의 풍부함이 실세계 최적화 문제에서 결정 지도 성능에 미치는 영향을 조사하는 것.
• 불확실한 환경에서 전통적 기준 모델 대비 제약 인식 및 최적화 레이어 아키텍처를 갖춘 엔드 투 엔드 학습의 우수성을 입증하는 것.

제안 방법

• 표준 엔드 투 엔드 학습이 베이지안 결정 이론 프레임워크 하에서 사후 베이즈 작동 지도를 학습한다는 것을 드러낸다.
• 경험적 리스크 최소화(ERM)와 분포로 보다 강건한 최적화(DRO)를 위한 두 가지 새로운 엔드 투 엔드 알고리즘을 제안하며, 모두 기울기 기반 최적화를 통해 훈련된다.
• 신경망을 결정 지도로 사용하여 맥락적 입력을 최적의 결정으로 매핑하며, 아키텍처는 타당성 제약을 고려하도록 설계된다(예: CAL 레이어에서 재스케일링된 시그모이드 활성화를 통한).
• 최적화 레이어(OPL)와 제약 인식 레이어(CAL) 아키텍처를 사용하여 기저 최적화 문제의 구조를 직접 네트워크에 통합한다.
• 통합된 최적화 레이어의 카루시-쿠른-터커(KKT) 조건을 통해 기울기 역전파를 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• 합성 뉴스베이어 문제와 풍력 발전 데이터를 사용한 실세계 경제적 배분 문제를 통해 접근법을 검증하며, 관측 유형과 아키텍처 간 성능을 비교한다.

(a) NN vs ERM

실험 결과

연구 질문

• RQ1 표준 엔드 투 엔드 학습이 확률적 최적화에서 베이지안 결정 이론과 어떻게 관련이 있는가?
• RQ2 베이지안 기반을 바탕으로 엔드 투 엔드 학습을 경험적 리스크 최소화(ERM) 및 분포로 보다 강건한 최적화(DRO) 프레임워크로系 체계적으로 확장할 수 있는가?
• RQ3 다른 신경망 아키텍처(OPL 대비 CAL)는 학습된 결정 지도의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ4 맥락적 정보의 풍부함(예: 단기적 관측 대비 역사적 관측)이 불확실한 최적화 문제에서 테스트 성능에 어떤 영향을 미치는가?
• RQ5 비정상적인 데이터를 가진 실세계 환경에서 엔드 투 엔드 학습은 MLE 및 lag-1과 같은 전통적 기준 모델보다 어떻게 비교되는가?

주요 결과

• 엔드 투 엔드 학습은 암묵적으로 사후 베이즈 작동 지도를 학습하며, 학습 과정에 원칙적인 베이지안 해석을 제공한다.
• 역사적 관측을 사용한 E2E-CAL 아키텍처는 10분 주기에서 평균 테스트 비용 67.09를 기록하여 타당성과 강건성 측면에서 오라클 기준 모델(60.69)을 초월했다.
• E2E-OPL-Softplus 접근법은 모든 관측 유형과 주기에서 안정적인 테스트 비용 72.60을 기록하여 강건성을 보였지만 CAL보다 비용이 높았다.
• 최대우도추정(MLE)은 대칭 손실이 비대칭 오차에 대한 보상 무시로 인해 가장 높은 테스트 비용(10분 주기에서 281.44)을 기록했다.
• lag-1 기준 모델은 10분 주기에서 가장 우수한 성능(64.96)을 보였지만, 30분 주기에서는 정상성 가정 위반으로 실패했다.
• 과도하게 풍부한 역사적 관측은 과적합을 유도했으며, MLE 및 E2E-OPL-Softplus 모델에서 이를 확인할 수 있었고, 단기적 관측이 의사결정에 가장 유용한 정보를 제공했다.

(b) NN vs Posterior Mean