[논문 리뷰] Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning

Mattia Silvestri, Senne Berden외 5명|arXiv (Cornell University)|2023. 07. 11.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 목적 함수와 제약 조건에 모두 매개변수를 가진 최적화 문제, 비선형 및 확률적 설정 조건에서도 작동하는 점수 함수 기울기 추정(SFGE)을 사용한 의사결정 중심 학습 프레임워크를 제안한다. 매개변수 분포를 예측하고 SFGE를 활용함으로써 조합 최적화에서의 0-기울기 문제를 극복하여 0-기울기 문제를 해결하고, 배낭 문제와 다중 커버 문제에서 예측 중심 학습보다 낮은 회복 손실과 비가능성 수준을 달성한다.

ABSTRACT

Many real-world optimization problems contain parameters that are unknown before deployment time, either due to stochasticity or to lack of information (e.g., demand or travel times in delivery problems). A common strategy in such cases is to estimate said parameters via machine learning (ML) models trained to minimize the prediction error, which however is not necessarily aligned with the downstream task-level error. The decision-focused learning (DFL) paradigm overcomes this limitation by training to directly minimize a task loss, e.g. regret. Since the latter has non-informative gradients for combinatorial problems, state-of-the-art DFL methods introduce surrogates and approximations that enable training. But these methods exploit specific assumptions about the problem structures (e.g., convex or linear problems, unknown parameters only in the objective function). We propose an alternative method that makes no such assumptions, it combines stochastic smoothing with score function gradient estimation which works on any task loss. This opens up the use of DFL methods to nonlinear objectives, uncertain parameters in the problem constraints, and even two-stage stochastic optimization. Experiments show that it typically requires more epochs, but that it is on par with specialized methods and performs especially well for the difficult case of problems with uncertainty in the constraints, in terms of solution quality, scalability, or both.

연구 동기 및 목표

• 기존의 의사결정 중심 학습(DFL) 방법이 선형 목적 함수를 가정하고 목적 함수에서만 매개변수 예측을 允허하는 한계를 극복하기 위해.
• 불확실한 매개변수가 목적 함수 및 제약 조건 함수 양쪽에 존재하는 문제, 비선형 및 조합 최적화 문제에까지 DFL를 확장하기 위해.
• 두 단계 문제에서 복구 조치와 보상 비용이 포함된 확률적 최적화 설정에서 예측 모델의 효과적인 훈련을 가능하게 하기 위해.
• 조합 최적화에서의 0-기울기 문제를 분포 예측과 점수 함수 기울기 추정(SFGE)을 사용하여 해결하기 위해.
• SFGE 기반 DFL가 예측 중심 학습(PFL)보다 의사결정 품질과 타당성 측면에서 뛰어나며, 특히 높은 보상 제약 조건 하에서도 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 예측 모델의 기울기 기반 최적화를 가능하게 하기 위해, 점 추정 대신 신경망을 사용해 미지 매개변수의 분포를 예측한다.
• 최적화 해가 비가속성일 경우에도, 작업 손실의 예측 모델 기울기를 계산하기 위해 점수 함수 기울기 추정(REINFORCE)을 사용한다.
• 예측 오차로 인한 의사결정의 비최적성 조건을 고려하기 위해 사후 회복 손실(post-hoc regret loss)을 작업 목표로 사용하며, 이는 매개변수가 제약 조건에 영향을 미칠 경우에도 적용 가능하다.
• 결정론적 문제(예: 불확실한 무게를 가진 배낭 문제)와 확률적 문제(예: 확률적 수요와 복구 비용이 포함된 가중치가 있는 다중 커버 문제) 양쪽에 모두 적용한다.
• SFGE를 통해 최적화 절차를 거쳐 백프로파게이션을 통해 종합적으로 예측 및 의사결정 품질을 최적화함으로써 예측 모델을 엔드 투 엔드로 훈련시킨다.
• 확률적 문제의 경우, 수요 분포를 예측하기 위해 다변량 정규분포와 같은 확률 모델을 사용하고, SAA 방법과 비교하기 위해 통합한다.

실험 결과

연구 질문

• RQ1 점수 함수 기울기 추정이 목적 함수와 제약 조건 양쪽에 매개변수가 존재하는 최적화 문제에서 의사결정 중심 학습을 가능하게 할 수 있는가?
• RQ2 기존의 암시적 미분 기법이 실패하는 비선형 및 조합 최적화 문제에서 SFGE 기반 DFL가 효과적으로 작동할 수 있는가?
• RQ3 확률적 최적화 설정에서 SFGE 기반 DFL가 의사결정 품질과 타당성 측면에서 예측 중심 학습(PFL)을 능가하는가?
• RQ4 두 단계 확률적 최적화 문제에서 불확실성 또는 보상 비용이 증가함에 따라 이 방법의 스케일링 성능은 어떻게 되는가?
• RQ5 진정한 매개변수 값이 목적 함수 뿐 아니라 제약 조건을 통해 타당성에 영향을 주는 문제에 대해 SFGE 기반 DFL가 일반화 가능한가?

주요 결과

• 불확실한 무게를 가진 배낭 문제에서 SFGE는 PFL의 상대적 사후 회복 손실 1.18±0.62를 0.850±0.264로 감소시켰으며, 타당성 측면에서 12% 향상되었다.
• ρ=10인 가중치가 있는 다중 커버 문제에서 SFGE는 상대적 사후 회복 손실 3.47±1.73을 달성했으며, PFL의 17.8±13.3보다 유의미하게 낮았다.
• ρ=10일 때 SFGE는 PFL의 0.63±0.11에서 0.12±0.06로 비가능성 비율을 감소시켜 제약 조건 이행 성능 향상을 입증했다.
• 100개의 샘플 시나리오를 사용한 경우, PFL+SAA는 회복 손실 측면에서 SFGE를 능가하지 못했으며, 추론 시간 계산 비용은 최소 10배 높았다.
• 보상 계수 증가에 따라 SFGE와 PFL 간의 성능 격차가 더욱 벌어져, SFGE가 고비용 불확실성 환경에서의 강건성을 입증했다.
• SFGE는 기존에 DFL에 어려움을 겪었던 문제, 예를 들어 제약 조건 기반 매개변수와 비선형 목적 함수를 포함한 문제에서도 효과적인 훈련을 가능하게 했다.